[論文レビュー] Multi-Advisor Reinforcement Learning

Romain Laroche, Mehdi Fatemi+2 more|arXiv (Cornell University)|Apr 3, 2017

Reinforcement Learning in Robotics参考文献 26被引用数 14

ひとこと要約

本稿では、単一エージェント強化学習問題を複数の専門的なアドバイザーに分解するフレームワーク、Multi-Advisor Reinforcement Learning (MAd-RL) を提案する。各アドバイザーは、異なる焦点に基づいて行動価値推定を提供する。共感的計画法（empathic planning）を導入し、自己中心的および無関心な手法に比べ優れた性能を発揮し、ノイズに強く、収束保証がある。アドバイザーが全状態空間にアクセスする場合、ほぼ最適な性能を達成する。

ABSTRACT

We consider tackling a single-agent RL problem by distributing it to $n$ learners. These learners, called advisors, endeavour to solve the problem from a different focus. Their advice, taking the form of action values, is then communicated to an aggregator, which is in control of the system. We show that the local planning method for the advisors is critical and that none of the ones found in the literature is flawless: the egocentric planning overestimates values of states where the other advisors disagree, and the agnostic planning is inefficient around danger zones. We introduce a novel approach called empathic and discuss its theoretical aspects. We empirically examine and validate our theoretical findings on a fruit collection task.

研究の動機と目的

• 危険またはノイズの多い環境において、既存の局所的計画手法の限界、特に過大評価と非効率性を解決すること。
• グローバル最適ベルマン方程式と整合する新たな計画戦略「共感的計画法」を設計すること。
• 変動するノイズレベルと割引率を有する果物収集（Pac-Boy）環境で、理論的主張を実証的に検証すること。
• 共感的計画法が自己中心的および無関心な手法に比べ、より高速かつ安定的かつ信頼性の高い学習を可能にすることを示すこと。
• アドバイザーが全状態空間にアクセスする場合に、共感的計画法がグローバル最適に収束する条件を確立すること。

提案手法

• 単一エージェント強化学習問題を、n個の独立したアドバイザーに分解し、それぞれが異なる焦点（例：報酬関数、状態空間、学習手法）に基づいて学習する。
• アグリゲーターを用いて、アドバイザーからの局所的Q値を統合し、グローバル方策を生成することで、分散型意思決定を実現する。
• 3つの局所的計画戦略を実装：自己中心的（自身の将来報酬を最大化）、無関心的（すべての将来アクションの平均化）、共感的（アグリゲーターが次に行動すると仮定して計画）。
• グローバルベルマン方程式を形式化し、自己中心的計画法が∑maxをmax∑に逆転させることで、過大評価と吸引状態を引き起こすことを示す。
• 全状態空間へのアクセスを前提に、共感的計画法の局所的Q値がグローバル最適ベルマン方程式と一致することを導出する。
• 経験再生とターゲットネットワークを用いたDQNでアドバイザーを訓練し、ノイズと変動するγ値を有するカスタムPac-Boy環境で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の局所的計画手法（自己中心的および無関心的）は、危険またはノイズの多い環境で、過大評価と非効率性の面でどのように失敗するか？
• RQ2 グローバル最適ベルマン方程式と整合するが、実用的な収束性を保つ新たな計画戦略を設計可能か？
• RQ3 共感的計画法は、複雑なタスクにおいて、安定性、ノイズ耐性、最終的性能の面で自己中心的および無関心な手法を上回るか？
• RQ4 アドバイザーが部分的または全状態情報を有する場合、共感的計画法がグローバル最適に収束する条件は何か？
• RQ5 割引率γの選択が自己中心的計画法の性能と安定性に与える影響はどの程度か？また、これに対して代替計画戦略によって是正可能か？

主な発見

• 自己中心的計画法では、特にγ値が高い場合、合意が得られない領域で過大評価が生じ、no-opアクションが好まれる吸引状態が発生する。
• γ = 0.9の場合、自己中心的計画法は性能が著しく低く、吸引状態に閉じ込められる。γ = 0.4の場合、高いスコアを達成するが、ノイズに対して不安定である。
• 無関心的計画法は、ゴーストが遠く離れていても、すべての将来アクション列に等しい重みを割り当てることで、ゴーストの近くの果物収集が極端に慎重になり、非効率になる。
• 共感的計画法はPac-Boyタスクでほぼ最適な性能を達成し、クリーンおよびノイズのある環境の両方で、自己中心的（γ=0.4）および無関心的手法を上回る。
• ノイズのある報酬（σ = 0.1）下でも、共感的計画法は耐性があり、一貫して自己中心的計画法を上回る。自己中心的計画法は低γとノイズ感受性により、短視眼的になる。
• Pac-Boy環境では、共感的計画法はたった10エポックの訓練で信頼性高く収束し、部分状態設定では収束保証がないにもかかわらず、高速かつ安定した学習を実現する。