[論文レビュー] Counterfactual Credit Assignment in Model-Free Reinforcement Learning

Thomas Mesnard, Théophane Weber+12 more|arXiv (Cornell University)|Nov 18, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 8

ひとこと要約

この論文は、後向き情報（ヘイストゥイズ）を用いて反事後的リターンを推定することで、より低い分散のポリシー勾配更新を可能にする、モデルフリー強化学習手法である反事後的責任割り当て（CCA）を導入する。この手法は、偏りのない分散が小さいポリシー勾配アルゴリズムの族を形式化し、長時間スケールの依存性やノイズの多いダイナミクスを示す困難な環境で検証されている。

ABSTRACT

Credit assignment in reinforcement learning is the problem of measuring an action's influence on future rewards. In particular, this requires separating skill from luck, i.e. disentangling the effect of an action on rewards from that of external factors and subsequent actions. To achieve this, we adapt the notion of counterfactuals from causality theory to a model-free RL setup. The key idea is to condition value functions on future events, by learning to extract relevant information from a trajectory. We formulate a family of policy gradient algorithms that use these future-conditional value functions as baselines or critics, and show that they are provably low variance. To avoid the potential bias from conditioning on future information, we constrain the hindsight information to not contain information about the agent's actions. We demonstrate the efficacy and validity of our algorithm on a number of illustrative and challenging problems.

研究の動機と目的

• 時間的・粗い粒度の責任割り当てによる古典的モデルフリー強化学習の高分散性とデータ非効率性を是正する。
• モデルフリー手法が、異なる行動を取っていた場合にどうなっていたかを評価する反事後的推論を実行できないという制限を克服する。
• 世界モデルを必要とせずに、将来の出来事に条件づけた価値関数を用いて、細粒度の責任割り当てを可能にする手法を開発する。
• 後向き情報がエージェント自身の行動に依存しないように制約を設けることで、不偏かつ低分散のポリシー勾配推定を保証する。
• 外部ノイズ、長期的依存性、タスクの重複を含む環境において、標準的な強化学習が失敗する状況で、本手法の有効性を示す。

提案手法

• 将来の条件付き価値関数をベースラインまたはクライアントとして使用するポリシー勾配推定器の族を提案。これは反事後的推論から導出される。
• 将来の観測値と結果に条件づけた価値関数を用い、実際にとられていない行動の反事後的リターンを推定する。ただし、エージェント自身の行動に関する情報は除外する。
• 実際の結果と反事後的結果の差分を計算する反事後的アドバンテージ推定器（CF-ITE）を導入。これは低分散のベースラインとして機能する。
• 構造的因果モデル（SCM）を用いて反事後的要因を形式化し、適切な条件付き分布のもとで不偏推定を保証する。
• 反事後的推定に用いる後向き情報の十分条件を導出し、分散を低く保つ。
• 環境の世界モデル学習を必要としない実用的なアルゴリズム、CCA-PGを実装。訓練ループにこれらの要素を統合する。

実験結果

リサーチクエスチョン

• RQ1 世界モデルの学習を伴わずに、モデルフリー強化学習に反事後的推論を効果的に適用できるか。
• RQ2 軌道データからどのように反事後的価値関数を構築し、ポリシー勾配の分散を低減できるか。
• RQ3 反事後的責任割り当てにおけるバイアスを回避するために、後向き情報に必要な制約は何か。
• RQ4 どのような種類の環境で、反事後的責任割り当てが標準的なモデルフリー強化学習を顕著に上回るか。
• RQ5 構造的因果モデル（SCM）の選択が、ポリシー学習における反事後的アドバンテージ推定の分散にどのように影響するか。

主な発見

• 提案されたCCA-PGアルゴリズムは、特に長時間スケールの依存性を示す環境において、標準的なモデルフリー手法と比較して顕著に低いポリシー勾配推定分散を達成している。
• 医療例において、モデルIは反事後的アドバンテージ推定器の分散を1/6として得たのに対し、モデルIIでは1となった。これはSCMの構造の選択が推定効率に直接的な影響を及ぼすことを示している。
• 外部ノイズを伴う部分観測環境においても、標準的手法が高分散のために失敗する中で、本手法は有効な責任割り当てを可能にした。
• 実験的結果から、CCA-PGはタスクの重複や遅延報酬を含む困難な環境で、ベースライン手法を上回ることを示した。
• 理論的分析により、提案された条件付き制約のもとで反事後的アドバンテージ推定器は不偏であり、標準的なベースラインよりも分散が小さいことが確認された。
• 本フレームワークは、因果推論理論と強化学習を結びつけることに成功。モデルフリー強化学習の文脈で反事後的要因を形式化し、スキルと運の分離を原理的に行うアプローチを提供した。