[論文レビュー] Modularity in Reinforcement Learning via Algorithmic Independence in Credit Assignment

Michael Chang, Sid Kaushik+2 more|arXiv (Cornell University)|Jun 28, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、学習のアルゴリズム的因果モデルにおけるd-分離条件であるモジュラリティ基準を介して、報酬割り当てにおけるアルゴリズム的独立性を強制することにより、強化学習における動的モジュラリティの形式的枠組みを提案する。この基準を満たす一部の1ステップ時系列差分法が、特に以前に解決済みのタスクに再適応する際、モジュラリティを欠くポリシーグラデント法とは異なり、優れたサンプル効率を示すことが示された。

ABSTRACT

Many transfer problems require re-using previously optimal decisions for solving new tasks, which suggests the need for learning algorithms that can modify the mechanisms for choosing certain actions independently of those for choosing others. However, there is currently no formalism nor theory for how to achieve this kind of modular credit assignment. To answer this question, we define modular credit assignment as a constraint on minimizing the algorithmic mutual information among feedback signals for different decisions. We introduce what we call the modularity criterion for testing whether a learning algorithm satisfies this constraint by performing causal analysis on the algorithm itself. We generalize the recently proposed societal decision-making framework as a more granular formalism than the Markov decision process to prove that for decision sequences that do not contain cycles, certain single-step temporal difference action-value methods meet this criterion while all policy-gradient methods do not. Empirical evidence suggests that such action-value methods are more sample efficient than policy-gradient methods on transfer problems that require only sparse changes to a sequence of previously optimal decisions.

研究の動機と目的

• 学習中にメカニズムが変化する動的学習システムにおけるモジュラリティを形式化すること。
• 強化学習において、学習可能なメカニズムの独立した修正が可能な条件を定義すること。
• 学習アルゴリズムがモジュラーな報酬割り当てをサポートするかどうかを評価する実用的基準を開発すること。
• 報酬割り当てのモジュラリティの因果的・アルゴリズム的情報理論的基盤を提供すること。
• 報酬割り当てのモジュラリティの因果的・アルゴリズム的情報理論的基盤を提供すること。

提案手法

• 学習のアルゴリズム的因果モデル（ACML）を導入し、学習プロセス全体を表す因果グラフを提示する。
• 事前計算グラフを条件としたメカニズムのアルゴリズム的独立性として、動的モジュラリティを定義する。
• モジュラリティ基準を提唱する：ACMLにおけるd-分離条件であり、報酬割り当て信号のアルゴリズム的独立性をテストする。
• 個々の行動価値メカニズムを別々に表現するため、MDPの代替として社会的意思決定フレームワークを用いる。
• モジュラリティ基準を用いて、1ステップ時系列差分法とポリシーグラデント法を比較する。
• CVS（クローンド・ビックレー社会）とPPOを対比させ、最小限のポリシー変更を伴うタスク間での転送効率を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 学習中にメカニズムが変化する動的学習システムにおけるモジュラリティを形式的に定義できるか？
• RQ2 強化学習において、学習可能なメカニズムの独立的修正が可能な条件は何か？
• RQ3 学習アルゴリズムがモジュラーな報酬割り当てをサポートするかどうかを実用的にテストする方法は何か？
• RQ4 なぜ一部のRLアルゴリズムは、他のアルゴリズムよりも転送時に最適行動をよりよく保持するのか？
• RQ5 勾配におけるアルゴリズム的独立性は、ネットワーク因子分解と比較して、どれほど柔軟な適応に寄与するのか？

主な発見

• モジュラリティ基準は、一部の1ステップ時系列差分法が報酬割り当てにおけるアルゴリズム的独立性を満たしていることを的確に特定している一方、すべてのポリシーグラデント法は満たしていない。
• 実験的結果では、CVS（1ステップTD法）は、1つの行動変更のみを伴う類似タスクへの転送において、PPOに比べて13.9倍もサンプル効率が高く、優れた性能を示した。
• 新しいタスクから以前のタスクへ戻る転送においても、CVSはPPOに比べて10倍以上もサンプル効率が高く、PPOがモジュラリティの欠如により深刻な記憶消去を経験していることが示された。
• PPOF（因子分解されたPPOの変種）は前向き転送ではPPOと同程度の性能を示したが、後向き転送ではCVSと同等の性能を示した。これは、ネットワーク因子分解自体が忘却を緩和できるが、アルゴリズム的独立性ほど効果的ではないことを示唆している。
• PPOにおけるアルゴリズム的独立性の欠如により、新しい最適シーケンスに含まれない行動メカニズム（例：関係のない行動）が学習中に顕著に変更され、結果として記憶消去が生じた。
• 本研究では、テストされた設定において、勾配におけるアルゴリズム的独立性がネットワーク因子分解よりも、転送効率の予測にはるかに優れた指標であることが明らかになった。