[論文レビュー] Playing against Nature: causal discovery for decision making under uncertainty

Mauricio Gonzalez-Soto, Luis Enrique Sucar+1 more|arXiv (Cornell University)|Jul 3, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用数 8

ひとこと要約

本稿では、未知の因果的メカニズムに従って動作する環境と逐次的相互作用を行うエージェントが、意思決定方針と潜在的な因果モデルの両方を学習する因果的強化学習フレームワークを提案する。環境を固定されたが未知の因果的メカニズムに従う戦略的「ネイチャー」プレイヤーとしてモデル化し、各結果の後で因果的信念を更新することで、エージェントはQ学習と同等のパフォーマンスを達成するとともに、反事後的推論や説明可能性を可能にする解釈可能な因果的知識を獲得する。

ABSTRACT

We consider decision problems under uncertainty where the options available to a decision maker and the resulting outcome are related through a causal mechanism which is unknown to the decision maker. We ask how a decision maker can learn about this causal mechanism through sequential decision making as well as using current causal knowledge inside each round in order to make better choices had she not considered causal knowledge and propose a decision making procedure in which an agent holds extit{beliefs} about her environment which are used to make a choice and are updated using the observed outcome. As proof of concept, we present an implementation of this causal decision making model and apply it in a simple scenario. We show that the model achieves a performance similar to the classic Q-learning while it also acquires a causal model of the environment.

研究の動機と目的

• 環境の因果的構造が未知であるが存在すると仮定する状況下での意思決定を解決すること。
• 因果的推論を順次的意思決定と統合する学習手順を開発し、干渉とその効果についての推論を可能にすること。
• エージェントが最適な行動を学ぶだけでなく、繰り返しの相互作用を通じて環境の因果的モデルを学習できること。
• 因果的構造を学習プロセスに埋め込むことで、関連的強化学習と因果的推論のギャップを埋めること。
• 学習された因果的モデルに基づいて、反事後的推論（「もし別の行動を取っていたらどうだったか？」といった質問に答えること）を可能にするフレームワークを提供すること。

提案手法

• 意思決定者と「ネイチャー」の間のゲームとしてエージェント-環境相互作用をモデル化し、ネイチャーは固定されたが未知の因果的メカニズムに従って干渉に応答する。
• ベイズ推論を用いて、条件付き確率表に対する情報のない事前分布から開始し、可能な因果的構造の信念分布を維持・更新する。
• 各ラウンドで、現在の信念から局所的な因果的モデルを構築し、望ましい結果（例：患者の生存）を達成する確率を最大化する行動を選択する。
• 干渉（行動）を実行し、得られた結果を観測し、この証拠を用いて条件付き確率分布のディリクレ事前分布のパラメータを更新する。
• 更新された信念を用いて次のラウンド用の新たな因果的モデルを生成し、方針と因果的構造の両方を段階的に改善する。
• 一般化トマソンサンプリングを用いて因果的モデルの事後分布からサンプリングし、観測データと整合性を保ちつつ探索を確保する。

実験結果

リサーチクエスチョン

• RQ1 意思決定エージェントは、真の因果的構造が初期に未知である状況下でも、逐次的相互作用を通じて環境の因果的モデルを学習できるか？
• RQ2 強化学習に因果的構造を組み込むことで、Q学習のような標準的な関連的アプローチと比較して学習パフォーマンスにどのような影響を与えるか？
• RQ3 学習された因果的モデルがどの程度、反事後的推論（例：「もし別の行動を取っていたらどうだったか？」）を支援できるか？
• RQ4 因果的モデルに関する信念の更新メカニズムは、不確実な環境下で安定的かつ収束する方針学習を可能にするか？
• RQ5 累積報酬と収束速度の観点から、提案された因果的意思決定フレームワークは古典的Q学習と比較してどの程度のパフォーマンスを示すか？

主な発見

• 100ラウンドおよび200ラウンドの相互作用後、提案された因果的エージェントはQ学習と同等の平均報酬を達成し、後期段階ではQ学習と密接に一致するパフォーマンスを示す。
• 初期ラウンド（例：20ラウンド）では因果的エージェントはランダムエージェントと同等の性能を示し、学習曲線が確認されるが、50ラウンド目ごろからランダム選択を上回り始める。
• 100ラウンドで、因果的エージェントは平均報酬においてQ学習をわずかに上回り、因果的設定におけるより速い収束またはより優れた探索が示唆される。
• 200ラウンド後、因果的エージェントの平均報酬はQ学習とほぼ同一であり、追加の因果的構造を学習しているにもかかわらず、競争力のあるパフォーマンスを示す。
• エージェントは環境の因果的モデルを成功裏に獲得し、意思決定の説明や反事後的クエリのサポートが可能になるという、標準的Q学習に欠ける機能を実現する。
• 本手法は、因果的推論を強化学習に統合することで、高いパフォーマンスと解釈可能性の両立が可能であることを示しており、より透明性と頑健性に富んだAI意思決定システムへの道筋を提供する。