[論文レビュー] Inverse Decision Modeling: Learning Interpretable Representations of Behavior

Daniel Jarrett, Alihan Hüyük+1 more|arXiv (Cornell University)|Oct 28, 2023

Explainable Artificial Intelligence (XAI)参考文献 74被引用数 4

ひとこと要約

本稿では、順序付けられた意思決定行動の解釈可能でパラメータ化された表現を学ぶための統一的フレームワークとして、逆意思決定モデリング（IDM）を導入する。これは、前向き（規範的）および逆向き（記述的）の問題を形式化することで、意思決定の複雑さ、主観性、不確実性を捉える、制限付き合理主義の学習を可能にする。

ABSTRACT

Decision analysis deals with modeling and enhancing decision processes. A principal challenge in improving behavior is in obtaining a transparent description of existing behavior in the first place. In this paper, we develop an expressive, unifying perspective on inverse decision modeling: a framework for learning parameterized representations of sequential decision behavior. First, we formalize the forward problem (as a normative standard), subsuming common classes of control behavior. Second, we use this to formalize the inverse problem (as a descriptive model), generalizing existing work on imitation/reward learning -- while opening up a much broader class of research problems in behavior representation. Finally, we instantiate this approach with an example (inverse bounded rational control), illustrating how this structure enables learning (interpretable) representations of (bounded) rationality -- while naturally capturing intuitive notions of suboptimal actions, biased beliefs, and imperfect knowledge of environments.

研究の動機と目的

• 現実のエージェントにおける透明な不完全で制限付き合理主義的意思決定の特徴付けの課題に取り組むこと。
• 既存の模倣学習および報酬学習アプローチを統合・拡張する一般化された逆意思決定モデリングフレームワークを形式化すること。
• 最適でない行動、偏った信念、環境知識の制限といった行動上の欠陥の解釈可能な表現を可能にすること。
• 規範的最適性を仮定するのではなく、観察された行動から記述的パラメータ（例：柔軟性、楽観性）を学ぶ方法を開発すること。
• 監査可能で構造化されたパラメータ化モデルとしての制限付き合理主義を提供し、個々の意思決定経路の分析と監査を可能にすること。

提案手法

• 一般化された計画演算子を介して、最適制御および期待効用理論を包含する規範的基準として前向き問題を形式化する。
• 双対最適化フレームワークを用いて、観察された行動からエージェントのパラメータ（例：柔軟性、楽観性）を推定する記述的モデルとして逆問題を定義する。
• 制限付き合理主義的制御の逆問題（IBRC）を具体的なインスタンスとして導入し、α⁻¹（柔軟性）、β⁻¹（楽観性）、η⁻¹（適応性）などのパラメータを用いて制限付き合理主義を持つエージェントをモデル化する。
• 信念状態（z）を主観的ダイナミクスの十分統計量として用い、信念に依存する行動による方策学習のマルコフ化を可能にする。
• KLダイバージェンスの最小化によるソフト方策マッチングを用い、認識方策および仕様方策を学習する。これは信念伝播を介して扱いやすい最適化に還元される。
• ベルマン作用素および価値関数の収縮を活用し、逆計画プロセスの安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 観察された意思決定系列から、制限付き合理主義のパラメータを形式的に表現し、学習することは可能か？
• RQ2 逆意思決定モデリングは、既存の模倣学習および報酬学習フレームワークをどのように一般化するか？
• RQ3 最適でない行動や偏った信念といった行動上の欠陥を、規範的モデルからの構造的逸脱としてどのように解釈できるか？
• RQ4 信念状態と主観的ダイナミクスは、不確実性下での意思決定の解釈可能なモデリングにどのような役割を果たすか？
• RQ5 このフレームワークは、臨床的診断経路のような現実世界の意思決定の監査を可能にするか？

主な発見

• 逆制限付き合理主義的制御（IBRC）フレームワークは、観察された行動から解釈可能なパラメータ（柔軟性：α⁻¹、楽観性：β⁻¹、適応性：η⁻¹）を効果的に学習でき、制限付き合理主義の構造的モデリングを可能にする。
• ベルマン作用素の収縮により安定した収束が達成され、‖B V − B V′‖∞ ≤ γε が成り立ち、価値関数推定のロバスト性が保証される。
• 信念単体（例：アルツハイマー病の診断）における信念軌道は、制限付き合理主義による遅れの診断といった解釈可能な意思決定パターンを明らかにする。
• フレームワークは直感的な行動現象を捉えることができる。例えば、臨床医は、意思決定の複雑さや信念の不確実性が高いため、合理的な方策が推奨するにもかかわらず、MRI検査を避けることがある。
• KLダイバージェンスの最小化によるソフト方策マッチングは、取り扱いやすい最適化に導き、エントロピー項が相殺され、効率的な学習のための式（24）が得られる。
• 本手法は行動クラーニングおよび分布マッチングを一般化し、報酬最大化を超えたより豊かな分析を可能にする。例えば、楽観性やリスク感受性のモデリングが可能となる。