[論文レビュー] Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach

Giulio Mazzi, Alberto Castellini+1 more|arXiv (Cornell University)|Dec 23, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 4

ひとこと要約

本論文は、信念-行動-観測トレースを分析することで、POMCP方策における予期しない意思決定を検出するルールベースでSMT駆動の手法を提案する。専門家が提供する論理的ルールを調整可能なパラメータで定式化し、MAX-SMT問題を解くことで、方策の期待される行動からの逸脱を同定する。このアプローチにより、最先端の異常検出手法に比べてAUCが最大47%向上した。

ABSTRACT

Partially Observable Monte-Carlo Planning (POMCP) is a powerful online algorithm able to generate approximate policies for large Partially Observable Markov Decision Processes. The online nature of this method supports scalability by avoiding complete policy representation. The lack of an explicit representation however hinders interpretability. In this work, we propose a methodology based on Satisfiability Modulo Theory (SMT) for analyzing POMCP policies by inspecting their traces, namely sequences of belief-action-observation triplets generated by the algorithm. The proposed method explores local properties of policy behavior to identify unexpected decisions. We propose an iterative process of trace analysis consisting of three main steps, i) the definition of a question by means of a parametric logical formula describing (probabilistic) relationships between beliefs and actions, ii) the generation of an answer by computing the parameters of the logical formula that maximize the number of satisfied clauses (solving a MAX-SMT problem), iii) the analysis of the generated logical formula and the related decision boundaries for identifying unexpected decisions made by POMCP with respect to the original question. We evaluate our approach on Tiger, a standard benchmark for POMDPs, and a real-world problem related to mobile robot navigation. Results show that the approach can exploit human knowledge on the domain, outperforming state-of-the-art anomaly detection methods in identifying unexpected decisions. An improvement of the Area Under Curve up to 47\% has been achieved in our tests.

研究の動機と目的

• オンラインPOMCP方策の解釈可能性の欠如（信念に基づく表現による暗黙的表現）を是正すること。
• 特に安全が求められるロボットアプリケーションにおいて、専門家がドメイン仮定に反する方策行動を検出できるようにすること。
• 完全な方策再訓練を必要とせず、スケーラブルで反復的な手法を用いてPOMCPトレースにおける異常な意思決定を同定すること。
• 分析プロセスに人間が提供する論理的制約を統合することで、既存の異常検出手法を上回ること。
• POMCPが専門家の期待から逸脱する際の時刻と理由を明確にする解釈可能な意思決定境界を提供すること。

提案手法

• 期待されるエージェント行動に関する専門家知識を表現するためのパラメトリック論理式（ルールテンプレート）を用いる。例：「障害物の多い経路の信念が低い場合にのみ高速移動する」。
• POMCP実行からの信念-行動-観測の三つ組トレースを分析し、MAX-SMTソルバーを用いてルールパラメータをインスタンス化し、充足される節の数を最大化する。
• パrameterチューニングタスクをMAX-SMT問題として定式化し、ルールが完全に充足可能でない場合の近似解を可能にする。
• 最適化されたルールから導出される意思決定境界を用いて、信念状態に基づき方策意思決定を「期待される」と「予期しない」と分類する。
• ハレインジャー距離を用いて信念状態とルール境界との乖離を定量化し、異常順位付けを支援する。
• 反復的プロセス：専門家は同定された異常をもとにルールを改善し、局所的な方策行動の探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ルールベースでSMT駆動のアプローチは、最先端の異常検出手法に比べて、POMCP方策における予期しない意思決定をより効果的に検出できるか？
• RQ2 エージェント行動に関する専門家が提供する定性的仮定を、トレースデータを用いて形式的かつ定量的に検証できるか？
• RQ3 人間の知識の統合が、方策異常の解釈可能性と検出精度をどの程度向上できるか？
• RQ4 学習されたルールから導出される意思決定境界は、信念状態分布および異常検出性能の観点で、実際の方策意思決定とどのように比較できるか？
• RQ5 方策が完全にルールに違反していないがわずかに逸脱している場合でも、この手法は異常を同定・順位付けできるか？

主な発見

• 提案手法は、POMCP方策における予期しない意思決定を検出する際、最先端の異常検出手法に比べてAUCが最大47%向上した。
• 報酬パラメータを意図的に誤設定した速度制御タスク（W=90）において、3500件の意思決定のうち4件を正しく「予期しない」と同定し、専門家分析で異常であると確認された。
• 信念状態がほぼ一様（例：p0≈p1≈p2≈0.33）であっても、予期しない意思決定を検出できた。これは、情報が少ない状態でも誤った行動に対して高い自信を持っていることを示している。
• t-SNE可視化では、予期しない意思決定がしばしば信念空間で孤立しており、特にルール境界からのハレインジャー距離が大きいものが多く、異常同士の空間的整合性が確認された。
• Tigerベンチマークでは4件、ロボットナビゲーションタスクでは4件の異常を正しく同定し、いずれも専門家の期待と整合しており、ルールテンプレートから逸脱していた。
• MAX-SMT定式化により、ルールテンプレートが完全に充足可能でない場合でも、ロバストなパrameter推定が可能となり、実世界の方策トレースにおける有効な異常検出が実現した。