[論文レビュー] Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions

Omer Gottesman, Joseph Futoma+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning in Healthcare参考文献 24被引用数 12

ひとこと要約

本論文は、オフポリシー評価（OPE）における信頼性を向上させるための手法を提案する。この手法では、正確な影響関数を用いて観測データ内の最も影響力のある遷移を同定・強調することで、ドメインエキスパートがこれらの高影響度遷移を検証できるようにする。このアプローチにより、データノイズや交絡要因が一般的な医療分野においても、OPE推定の耐性と解釈可能性が向上する。

ABSTRACT

Off-policy evaluation in reinforcement learning offers the chance of using observational data to improve future outcomes in domains such as healthcare and education, but safe deployment in high stakes settings requires ways of assessing its validity. Traditional measures such as confidence intervals may be insufficient due to noise, limited data and confounding. In this paper we develop a method that could serve as a hybrid human-AI system, to enable human experts to analyze the validity of policy evaluation estimates. This is accomplished by highlighting observations in the data whose removal will have a large effect on the OPE estimate, and formulating a set of rules for choosing which ones to present to domain experts for validation. We develop methods to compute exactly the influence functions for fitted Q-evaluation with two different function classes: kernel-based and linear least squares, as well as importance sampling methods. Experiments on medical simulations and real-world intensive care unit data demonstrate that our method can be used to identify limitations in the evaluation process and make evaluation more robust.

研究の動機と目的

• 医療分野など高リスク分野において、データがノイズが多く交絡要因を含む中で、オフポリシー評価（OPE）の解釈可能性と信頼性が欠如している問題に対処する。
• 検証不能な仮定に依存し、過剰に慎重な誤差境界を生成する伝統的なOPE手法の限界を克服する。
• OPEパイプラインにドメインエキスパートの知識を統合するため、OPE推定値に著しい影響を与えるデータ遷移を同定する。
• エキスパートが影響力の高い遷移を検証することで推定信頼性を向上させる、人間とAIの協働を実現する実用的フレームワークを構築する。
• 急性低血圧症のICU管理などの実世界の医療意思決定文脈において、本手法の有効性を示す。

提案手法

• 適合Q評価（FQE）における2つの関数クラス（カーネルベースおよび線形最小二乗）に対して、正確な影響関数を計算する。
• オフポリシー評価のためのインポートランスサンプリング（IS）推定器に対しても、影響関数の計算を拡張する。
• OPE推定値に最も大きな変化をもたらす遷移（すなわち、その削除によって推定値が著しく変化する遷移）を同定・提示するためのルールセットを策定する。
• 影響分析を用いて、臨床データセットにおける測定誤差や時系列の不整合といったデータ品質問題を同定する。
• エキスパートのフィードバックを統合し、問題のある遷移を修正または削除することで、OPE推定値を段階的に改善する。
• 本手法を合成シミュレーションおよび実際のICUデータに適用し、データの不一致を同定・是正する有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー評価のためのバッチ観測データにおいて、影響関数をどのように用いて最も影響力のある遷移を同定できるか？
• RQ2 OPEにおける影響分析を通じて、測定誤差や時系列の不整合といったどのようなデータ品質問題を同定できるか？
• RQ3 ドメインエキスパートが影響関数で同定された高影響度遷移を検証することで、OPE推定の信頼性を向上させられるか？
• RQ4 影響に基づく診断手法は、OPE推定の妥当性を評価するための従来の信頼区間と比較して、どのように異なるか？
• RQ5 影響分析は、実世界の医療応用において、OPEの解釈可能性と耐性をどの程度向上させられるか？

主な発見

• 影響分析により、急性低血圧症管理のための実際のICUデータセットにおいて6件の影響力のある遷移が特定され、その後、臨床経験のある集中治療医によって検証された。
• MAP（平均動脈圧）の測定値が1件のみ異常であった1件の遷移が、測定誤差であると特定された。この誤差を是正したことで、その影響力はゼロにまで低下した。
• 別の遷移では、タイムスタンプの誤りによる治療遅延が原因で高影響度を示していたが、時刻を是正することで、OPE推定値への高影響力が解消された。
• 影響分析により同定されたデータ問題を是正した後、OPE推定値はより耐性があり、個々の外れ値への感受性が低下した。
• 本手法により、臨床的に不自然なデータパターンが、集計統計では見えにくかったが、医師が検出可能となり、データ品質と推定信頼性が向上した。
• フレームワークは実臨床現場での実用的価値を示した。影響分析が、OPEにおけるデータ品質とモデル信頼性の診断ツールとして機能しうることを示した。