[論文レビュー] Learning "What-if" Explanations for Sequential Decision-Making

Ioana Bica, Daniel Jarrett+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Causal Inference Techniques参考文献 47被引用数 5

ひとこと要約

本稿では、『もしも』シナリオ（反事後的結果）の間の好みに基づいて解釈可能な報酬関数を学習することで、専門家の逐次的意思決定をモデル化する、バッチ型逆強化学習手法である反事後的逆強化学習（CIRL）を提案する。CIRLは、オフラインIRLに反事後的推論を統合することで、環境との能動的相互作用を必要とせずに、医療分野において特に、正確で解釈可能かつ監査可能な専門家行動の説明を可能にする。本手法は、敗血症治療データセットにおいて、専門家の行動を83.4％の正確さで再現した。

ABSTRACT

Building interpretable parameterizations of real-world decision-making on the basis of demonstrated behavior -- i.e. trajectories of observations and actions made by an expert maximizing some unknown reward function -- is essential for introspecting and auditing policies in different institutions. In this paper, we propose learning explanations of expert decisions by modeling their reward function in terms of preferences with respect to "what if" outcomes: Given the current history of observations, what would happen if we took a particular action? To learn these cost-benefit tradeoffs associated with the expert's actions, we integrate counterfactual reasoning into batch inverse reinforcement learning. This offers a principled way of defining reward functions and explaining expert behavior, and also satisfies the constraints of real-world decision-making -- where active experimentation is often impossible (e.g. in healthcare). Additionally, by estimating the effects of different actions, counterfactuals readily tackle the off-policy nature of policy evaluation in the batch setting, and can naturally accommodate settings where the expert policies depend on histories of observations rather than just current states. Through illustrative experiments in both real and simulated medical environments, we highlight the effectiveness of our batch, counterfactual inverse reinforcement learning approach in recovering accurate and interpretable descriptions of behavior.

研究の動機と目的

• 能動的実験が不可能な実世界の状況（例：医療分野）において、専門家の逐次的意思決定を解釈する手法を開発すること。
• 専門家の行動をブラックボックスのポリシーとしてではなく、『もしも』シナリオ（反事後的結果）の好みに基づいてパrameter化された報酬関数としてモデル化すること。
• 標準的なバッチ型逆強化学習の限界（解釈不能な報酬表現、完全に観測可能なマルコフ的状態の仮定）を克服すること。
• 臨床意思決定の監査と分析を可能にするために、臨床医の治療優先順位を反映する解釈可能な報酬重みを回復すること。
• 反事後的推論を用いて、専門家ポリシー下での特徴量の期待値を推定することで、バッチ設定における非政策評価を支援すること。

提案手法

• CIRLは報酬関数を反事後的結果の重み付き和として定式化する：$ R(h_t, a_t) = w_u \mathbb{E}[U_{t+1}[a_t] \mid h_t] + w_z \mathbb{E}[Z_{t+1}[a_t] \mid h_t] $、ここで$ U $と$ Z $は腫瘍体積や副作用といった患者の結果を表す。
• 本手法は、環境ダイナミクスが未知であっても、異なるポリシー下での行動の期待結果を推定できるように、バッチ型逆強化学習に反事後的推論を統合する。
• 最大マージンのアーリスティシップフレームワークを用いて、観測データセットにおける専門家の行動を最もよく説明する報酬重み$ w_u $と$ w_z $を学習する。
• 反事後的結果は、履歴データで訓練されたモデルを用いて推定され、部分的に観測された履歴や非マルコフ的ダイナミクスに対応できる。
• 本手法は、抗生物質投与を含む、シミュレーションおよび実世界の医療意思決定タスクに適用された。
• CIRLは反事後的推論を用いて専門家ポリシー下での特徴量の期待値を推定することで、非政策評価を可能にし、標準的なバッチ型IRLの限界を克服する。

実験結果

リサーチクエスチョン

• RQ1 環境との能動的相互作用が不可能な状況において、どのようにして専門家の逐次的意思決定の解釈可能な報酬関数を学習できるか？
• RQ2 反事後的推論は、医療分野などの実世界分野におけるバッチ型逆強化学習の解釈可能性と正確さをどの程度向上させられるか？
• RQ3 『もしも』状況に基づく報酬関数は、腫瘍体積の低減を副作用の最小化よりも優先するなど、臨床的に意味のある好みを明らかにできるか？
• RQ4 CIRLは、既存のバッチ型IRL手法と比較して、専門家の行動をどれほど正確に回復し、意思決定パターンをどれほどよく説明できるか？
• RQ5 回復された報酬重みは、敗血症管理における体温やWBCの重要性といった、既知の臨床ガイドラインや治療優先順位を反映しているか？

主な発見

• CIRLは、敗血症治療データセットにおいて、専門家の行動を83.4％の正確さで再現し、MB(h)-IRL（77.5％）やDSFN(h)（75.3％）といったベンチマークを上回った。
• 本手法は、臨床医が敗血症において発熱の軽減とWBCの正常化を優先していることを示す報酬重みを成功裏に回復した。これは、既存の医学的ガイドラインと整合的である。
• CIRLは、腫瘍体積低減の重み（$ |w_u| $）が副作用最小化の重み（$ |w_z| $）を上回る場合、臨床医がより積極的な治療をとる傾向があることを示した。これは、臨床的優先順位を反映している。
• 反事後的報酬関数により、ポリシー行動の解釈可能な説明が可能となり、臨床医が抗生物質投与意思決定において、体温やWBCといった結果を他の特徴量よりも重視していることが明らかになった。
• 本手法は、完全に観測可能な状態の仮定をせず、全履歴に基づいて行動をモデル化することで、非マルコフ的ダイナミクスに対処できた。
• CIRLは、高い正確性を維持しながら、解釈可能で監査可能な説明を提供した。これは、説明可能性が予測性能を犠牲にするものではないことを示している。