[論文レビュー] Collaborative Deep Reinforcement Learning

Kaixiang Lin, Shu Wang+1 more|arXiv (Cornell University)|Feb 19, 2017

Reinforcement Learning in Robotics参考文献 30被引用数 18

ひとこと要約

本稿では、深層知識蒸留と新規の深層アライメントネットワークを用いて、異種の深層強化学習エージェント間で適応的知識移譲を可能にする協調的ディープ強化学習（CDRL）フレームワークを提案する。この手法により、Pongのエキスパートからピンボーリングエージェントへの方策知識の移譲が実現され、OpenAI Gym環境においてA3Cと比較して11.2%の報酬向上を達成した。

ABSTRACT

Besides independent learning, human learning process is highly improved by summarizing what has been learned, communicating it with peers, and subsequently fusing knowledge from different sources to assist the current learning goal. This collaborative learning procedure ensures that the knowledge is shared, continuously refined, and concluded from different perspectives to construct a more profound understanding. The idea of knowledge transfer has led to many advances in machine learning and data mining, but significant challenges remain, especially when it comes to reinforcement learning, heterogeneous model structures, and different learning tasks. Motivated by human collaborative learning, in this paper we propose a collaborative deep reinforcement learning (CDRL) framework that performs adaptive knowledge transfer among heterogeneous learning agents. Specifically, the proposed CDRL conducts a novel deep knowledge distillation method to address the heterogeneity among different learning tasks with a deep alignment network. Furthermore, we present an efficient collaborative Asynchronous Advantage Actor-Critic (cA3C) algorithm to incorporate deep knowledge distillation into the online training of agents, and demonstrate the effectiveness of the CDRL framework using extensive empirical evaluation on OpenAI gym.

研究の動機と目的

• エージェントのモデル構造が異なり、異なる学習タスクを実行する場合の強化学習における知識移譲の課題に対処すること。
• 共通のアーキテクチャを必要とする従来のモデル移譲手法の制限を克服し、知識移譲における構造的柔軟性を実現すること。
• エージェントがリアルタイムで互いに学習できるオンラインで協調的なトレーニングフレームワークを構築し、サンプル効率と収束速度を向上させること。
• 分布ギャップを埋めるために深層アライメントネットワークを用い、異なる環境（例：PongとBowling）間での知識蒸留の有効性を実証すること。
• 蒸留を組み込んだ協調的オンライントレーニングにより、A3Cなどの最先端手法と比較して優れたパフォーマンスを達成すること。

提案手法

• 教師エージェント（例：Pongエキスパート）から、異なるネットワークアーキテクチャを持つ学生エージェント（例：Bowlingエージェント）へ方策知識を移譲する深層知識蒸留手法を提案する。
• PongとBowlingなどの異なるタスクのログチットをアライメントするための、4層の全結合ReLU層を備えた深層アライメントネットワークを導入し、異種エージェント間の分布シフトを低減する。
• トレーニング中にオンライン知識蒸留を統合する効率的な協調的非同期アドバンテージアクターキャリブレーター（cA3C）アルゴリズムを設計し、リアルタイムでの協調学習を可能にする。
• トレーニングステップ数に達した後から段階的にオンラインで実行する形で、深層アライメントネットワークのトレーニングと知識蒸留を実施し、安定した方策学習を確保する。
• 信用配分に一般化された優位性推定（GAE）を用い、教師ネットワークのアライメント済みログチットからの蒸留損失と組み合わせる。
• 異なるトレーニングスケジュールにおいて、アライメントネットワークと蒸留戦略の有効性を検証するため、オフラインおよびオンラインのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャやタスクダイナミクスの違いがあるにもかかわらず、異種の深層強化学習エージェント間での知識移譲を効果的に達成できるか？
• RQ2 深層アライメントネットワークは、異なるアクション空間と報酬構造を持つターゲットタスク（Bowling）へのソースタスク（Pong）の方策知識の移譲性をどのように向上させるか？
• RQ3 知識蒸留を組み込んだオンライン協調トレーニングは、独立したトレーニングや標準的なA3Cと比較して、収束が速く、パフォーマンスが優れているか？
• RQ4 オンライン協調設定において、アライメントネットワークと知識蒸留のトレーニングを開始する最適なタイミングは何か？
• RQ5 提案されたCDRLフレームワークは、複雑な制御タスクにおいて、A3Cなどの最先端手法と比較して最終パフォーマンスとサンプル効率の両面で優れているか？

主な発見

• CDRLフレームワークは、Bowling環境においてA3Cと比較して11.2%の報酬向上を達成し、最終平均報酬が68.35 ± 1.32（A3Cの61.48 ± 1.48）を記録した。
• 深層知識蒸留はサンプル効率を顕著に向上させ、Bowlingエージェントが初期学習からではなく、蒸留を経てより速く、より高いパフォーマンスに到達できることを示した。
• 深層アライメントネットワークは、PongとBowlingのポリシー間の分布ギャップを効果的に低減し、アライメント済みのPongログチットがBowlingポリシー分布に密接に一致していることが確認された。
• アライメントネットワークと蒸留のオンライントレーニング戦略は、学生エージェントが高パフォーマンスに達するまでの待機を必要とせず、強靭で適応可能な性質を示した。
• cA3Cアルゴリズムにより、常に更新が進むPongエージェントからBowlingエージェントへの継続的な知識移譲が可能となり、動的である教師ポリシーであっても高いパフォーマンス向上を維持した。
• 実験的結果から、オフラインおよびオンラインの両方の蒸留戦略がベースラインのA3Cを上回り、特に協調的オンライン設定が最良のパフォーマンスを達成した。