[論文レビュー] Explaining by Imitating: Understanding Decisions by Interpretable Policy Learning

Alihan Hüyük, Daniel Jarrett+1 more|arXiv (Cornell University)|Oct 28, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

この論文では、オффラインで部分的に観測可能なデータから、エージェントの信念更新プロセスと信念行動マッピングを同時に推定する、解釈可能なポリシー学習のためのベイジアンモデルベース手法であるINTERPOLEを紹介する。信念単体と意思決定境界を用いて意思決定をモデル化することで、実際のアルツハイマー病診断の事例において、ブラックボックス手法に比べて解釈性と忠実度の両面で優れる、透徹可能なオフライン意思決定の監査が可能になる。

ABSTRACT

Understanding human behavior from observed data is critical for transparency and accountability in decision-making. Consider real-world settings such as healthcare, in which modeling a decision-maker's policy is challenging -- with no access to underlying states, no knowledge of environment dynamics, and no allowance for live experimentation. We desire learning a data-driven representation of decision-making behavior that (1) inheres transparency by design, (2) accommodates partial observability, and (3) operates completely offline. To satisfy these key criteria, we propose a novel model-based Bayesian method for interpretable policy learning ("Interpole") that jointly estimates an agent's (possibly biased) belief-update process together with their (possibly suboptimal) belief-action mapping. Through experiments on both simulated and real-world data for the problem of Alzheimer's disease diagnosis, we illustrate the potential of our approach as an investigative device for auditing, quantifying, and understanding human decision-making behavior.

研究の動機と目的

• 実験が不可能な現実世界の部分的観測環境（例：医療分野）における人間の意思決定を理解するための手法を開発すること。
• 模倣学習やアポイントシップ学習における透明性の欠如を解消し、人間が理解可能な形で意思決定プロセスをモデル化すること。
• 真の環境ダイナミクスの知識がなくても、かつ最適で偏りのない行動を仮定しなくても、完全にオフラインのデータから学習できること。
• 監査、定量的評価、説明を可能にするデータ駆動型で解釈可能な意思決定の表現を提供すること。

提案手法

• INTERPOLEは意思決定を二段階のプロセスとしてモデル化する：主観的信念更新機構による信念更新と、確率的信念行動マッピングによる行動選択。
• ベイジアンフレームワークを用いて、エージェントの信念ダイナミクス（信念が時間経過とともにどのように変化するか）と意思決定境界（信念がどのように行動にマッピングされるか）を同時に推論する。
• 信念を信念単体（例：3つの認知状態：NL、MCI、Dementia）の点として表現することで、不確実性や診断の進行を直感的に可視化できる。
• 潜在的な信念と意思決定境界に条件づけられた観測と行動の生成モデルを用いることで、環境との相互作用なしにオフライン学習が可能になる。
• ドメインエキスパートが推論できる解釈可能な幾何学的構造（例：信念空間における意思決定境界）を用いることで、ブラックボックス表現を回避する。
• 部分的観測に強く、エージェントの信念が偏りがないことやポリシーが最適であることを仮定しないように設計されている。

実験結果

リサーチクエスチョン

• RQ1 真のダイナミクスが不明で、ライブインタラクションが不可能な部分的観測環境（例：医療分野）において、人間の意思決定をどのようにモデル化できるか？
• RQ2 特定の行動がなぜとられるのかを明らかにする透明で解釈可能な意思決定ポリシーの表現を学習できるか？
• RQ3 信念更新と意思決定境界が、臨床的診断における観察された行動をどのように統合的に形作るか？
• RQ4 信念単体や意思決定境界といった解釈可能な幾何学的表現が、ドメインエキスパートの診断行動理解をどの程度向上できるか？
• RQ5 この手法は、病院間での臨床的実践のばらつきを効果的に監査・定量化できるか？

主な発見

• 臨床医は、診断の進行を可視化する際、信念単体表現（C）を、表形式やベクトル形式よりも直感的だと一貫して好んだ。
• MRIなどの診断検査の実施可能性を伝える点で、意思決定境界表現（B）が最も効果的であると評価されたが、スケールの解釈にやや混乱が生じた。
• スケールの解釈にやや曖昧さはあったものの、臨床医の大多数は、特に信念単体と意思決定境界を組み合わせた幾何学的表現が、従来の表形式やベクトル形式よりも解釈しやすかったと感じた。
• この手法は、オフラインのEHRデータから実世界のアルツハイマー病診断行動を成功裏にモデル化し、信念の進化と行動選択を透徹可能で人間が読める形で捉えた。
• 臨床医は、この表現が、MRIが認知機能の悪化を検出する役割を明確にしたと指摘したが、MRIが主な診断のトリガーでない場合でも同様に有効であった。
• フィードバックでは、信念単体は視覚的に効果的であるが、認知機能の低下が離散的状態ではなく連続的スペクトルであるという臨床的認識と矛盾する可能性があると指摘された。