[論文レビュー] Batch Inverse Reinforcement Learning Using Counterfactuals for Understanding Decision Making.

Ioana Bica, Daniel Jarrett+2 more|arXiv (Cornell University)|Jul 2, 2020

Health Systems, Economic Evaluations, Quality of Life参考文献 37被引用数 2

ひとこと要約

本稿では、提示された軌道から専門家の意思決定を解釈するために反事後的推論を統合したバッチ逆強化学習手法を提案する。各意思決定ポイントで「もしも〜なら」という仮説的質問に答えることで、解釈可能な報酬関数を学習し、アクティブな相互作用を必要とせずにオフポリシー評価を可能にする。医療意思決定環境において優れた性能を示している。

ABSTRACT

A key challenge in modeling real-world decision-making is the fact that active experimentation is often impossible (e.g. in healthcare). The goal of batch inverse reinforcement learning is to recover and understand policies on the basis of demonstrated behaviour--i.e. trajectories of observations and actions made by an expert maximizing some unknown reward function. We propose incorporating counterfactual reasoning into modeling decision behaviours in this setting. At each decision point, counterfactuals answer the question: Given the current history of observations, what would happen if we took a particular action? First, this offers a principled approach to learning inherently interpretable reward functions, which enables understanding the cost-benefit tradeoffs associated with an expert's actions. Second, by estimating the effects of different actions, counterfactuals readily tackle the off-policy nature of policy evaluation in the batch setting. Not only does this alleviate the cold-start problem typical of conventional solutions, but also accommodates settings where the expert policies are depending on histories of observations rather than just current states. Through experiments in both real and simulated medical environments, we illustrate the effectiveness of our batch, counterfactual inverse reinforcement learning approach in recovering accurate and interpretable descriptions of expert behaviour.

研究の動機と目的

• アクティブな実験が不可能な状況（例：医療分野）において専門家ポリシーを理解する課題に対処すること。
• オンライン相互作用を必要とせず、静的データセットとしての専門家軌道から意思決定をモデリングすること。
• 反事後的推論を組み込むことで、回復された報酬関数の解釈可能性を向上させること。
• 行動介入の結果を推定することで、バッチIRLにおけるオフポリシー評価問題を克服すること。
• 現在の状態だけでなく、観測履歴に依存するポリシーをサポートすること。

提案手法

• 各意思決定ポイントにおける仮説的行動を評価するために、反事後的推論をバッチ逆強化学習に統合する。
• 現在の観測履歴を前提として、代替行動の結果を反事後的に推定する。
• 行動介入の影響をモデル化することで、コスト・ベネフィットトレードオフを反映する報酬関数を学習する。
• 観測された軌道における行動の変更をシミュレートすることで、構造的なアプローチでオフポリシー評価を実施する。
• 専門家ポリシーを、現在の状態だけでなく、完全な観測履歴に依存するものとしてモデル化する。
• 軌道データと反事後的シミュレーションを組み合わせることで、解釈可能で正確な報酬関数を推定する。

実験結果

リサーチクエスチョン

• RQ1 反事後的推論は、バッチ逆強化学習における報酬関数の解釈性をどのように向上させるか？
• RQ2 反事後的推論は、静的専門家行動データにおけるオフポリシー評価の課題を効果的に解決できるか？
• RQ3 行動が観測履歴に依存する場合、この手法は専門家意思決定ポリシーをどの程度正確に回復できるか？
• RQ4 反事後的モデリングは、専門家行動におけるコスト・ベネフィットトレードオフの理解をどの程度向上させるか？
• RQ5 このアプローチは、医療分野のような現実的で複雑な分野に一般化可能か？

主な発見

• 本手法は、専門家意思決定における意味のあるコスト・ベネフィットトレードオフを反映する解釈可能な報酬関数を効果的に回復した。
• 反事後的推論により、オンライン相互作用や探索を必要とせずに正確なオフポリシー評価が可能になった。
• 本手法は、現在の状態だけでなく観測履歴に依存するポリシーを効果的にモデリングできた。
• シミュレートおよび実際の医療環境での実験により、専門家行動のモデリング精度が向上した。
• 反事後的要因の統合により、従来のバッチIRL手法で一般的な「コールドスタート問題」が軽減された。
• 専門家行動が複雑で履歴依存性が高い環境でも、本モデルは頑健な性能を示した。