[論文レビュー] Adversarial Counterfactual Environment Model Learning

Xionghui Chen, Yang Yu+9 more|arXiv (Cornell University)|Jun 10, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、選択バイアスを軽減するため、反対的データを生成することで、オフライン強化学習における正確な環境ダイナミクスモデルの学習を可能にする新規手法Adversarial Weighted Empirical Risk Minimization (AWRM)を提案する。実用的なアルゴリズムGALILEOは、反事実的予測、オフライン方策評価、オンライン意思決定を改善し、合成および実世界のタスクにおいて、教師あり学習および既存のベースラインを大きく上回る性能を示し、分布外の行動クエリにおいて顕著に誤差が低減される。

ABSTRACT

A good model for action-effect prediction, named environment model, is important to achieve sample-efficient decision-making policy learning in many domains like robot control, recommender systems, and patients' treatment selection. We can take unlimited trials with such a model to identify the appropriate actions so that the costs of queries in the real world can be saved. It requires the model to handle unseen data correctly, also called counterfactual data. However, standard data fitting techniques do not automatically achieve such generalization ability and commonly result in unreliable models. In this work, we introduce counterfactual-query risk minimization (CQRM) in model learning for generalizing to a counterfactual dataset queried by a specific target policy. Since the target policies can be various and unknown in policy learning, we propose an adversarial CQRM objective in which the model learns on counterfactual data queried by adversarial policies, and finally derive a tractable solution GALILEO. We also discover that adversarial CQRM is closely related to the adversarial model learning, explaining the effectiveness of the latter. We apply GALILEO in synthetic tasks and a real-world application. The results show that GALILEO makes accurate predictions on counterfactual data and thus significantly improves policies in real-world testing.

研究の動機と目的

• データ収集時の行動方策に起因する選択バイアスが、反事実的行動予測において深刻な失敗を引き起こすのを防ぐこと。
• 敵対的データ分布の下で学習することで、i.i.d.仮定を超えた環境ダイナミクスモデルの一般化を向上させること。
• 未観測データにおける行動効果を正確にモデル化することで、オフライン方策評価および改善を向上させる実用的アルゴリズムの開発。
• 偏った行動方策に起因する状態・行動・次状態間の誤った関連性を排除すること。
• 標準的な教師あり学習が分布シフト下で失敗する順序付き意思決定設定において、忠実なダイナミクスモデルを実現すること。

提案手法

• 敵対的方策を組み込むことで、モデルの精度を弱めるデータ分布を生成し、耐性を強化する学習目的としてAWRMを提案。
• ジェネレータネットワークを用いて、行動方策の行動選択を逆転させることで反事実的データをシミュレートし、挑戦的なテストケースを生成。
• GALILEOを実装し、現在のモデルと学習データを用いて最適な敵対的反事実的データ分布を近似。
• 敵対的訓練を適用し、モデルが自らの弱みを突くような方策が生成するデータに対して誤差を最小化するように最適化。
• 二段階の訓練プロセスを採用：まず、オフラインデータ上でダイナミクスモデルを学習し、次に敵対的生成反事実遷移を用いて精練。
• 逆Propensity重み付けとGANベースのデータ拡張を、アブレーションおよび評価におけるベースラインとして採用。

実験結果

リサーチクエスチョン

• RQ1 行動方策における選択バイアスが原因で、標準的な教師あり学習が反事実的予測において深刻な失敗を起こす可能性があるか？
• RQ2 敵対的データ分布シフトが、分布外の行動クエリにおける環境ダイナミクスモデルの耐性を向上させるか？
• RQ3 GALILEOは、各イテレーションで最悪の反事実的データを使用するオラクルAWRM手法と同等の性能を達成できるか？
• RQ4 AWRMは、IPW、SCIGAN、および教師あり学習といった既存手法と比較して、オフライン方策評価および改善において優れているか？
• RQ5 GALILEOは、より正確な反事実的推論を可能にすることで、オンライン意思決定性能を向上させることができるか？

主な発見

• 合成タスクにおいて、選択バイアスが強い状況で、GALILEOは教師あり学習に比べて反事実的予測誤差を最大50％まで低減した。
• GNFCベンチマークでは、GALILEOが全タスクで最小のMMSEを達成し、平均誤差は3.86 ± 0.03 (e1_p1) であり、SLの5.73 ± 0.33に比べ顕著に優れた性能を示した。
• TCGAベンチマークでは、GALILEOは低誤差を維持（例：t0_bias_2.0では1.56 ± 0.04）、一方SLの誤差は著しく増加（例：1.92 ± 0.67）した。
• GALILEOの応答曲線は真値に近く、正しい因果関係（y_{t+1} ∝ y_t + a_t）を示したが、SLは誤った関連性（例：y_{t+1} ∝ φ - 14a_t）を学習した。
• 連続的制御タスクでは、GALILEOがオフライン方策評価および改善を向上させ、行動分布の分布シフトに対しても耐性を示した。
• AWRM-オラクルベースラインに近い性能を達成しており、最適な敵対的データ分布の効果的な近似ができたことが示された。