[論文レビュー] Actor-Mimic: Deep Multitask and Transfer Reinforcement Learning

Emilio Parisotto, Jimmy Ba+1 more|arXiv (Cornell University)|Nov 19, 2015

Reinforcement Learning in Robotics参考文献 18被引用数 207

ひとこと要約

Actor-Mimicは、モデル圧縮を用いて専門家ネットワークを模倣することで、1つのポリシー・ネットワークが複数のAtariゲームを同時に習得できる深層マルチタスクおよび転移強化学習手法を提案する。このアプローチにより、マルチタスク事前学習中に学習された共有表現を通じて、未知の環境における学習が著しく高速化され、新しいタスクへの一般化が可能になる。

ABSTRACT

The ability to act in multiple environments and transfer previous knowledge to new situations can be considered a critical aspect of any intelligent agent. Towards this goal, we define a novel method of multitask and transfer learning that enables an autonomous agent to learn how to behave in multiple tasks simultaneously, and then generalize its knowledge to new domains. This method, termed "Actor-Mimic", exploits the use of deep reinforcement learning and model compression techniques to train a single policy network that learns how to act in a set of distinct tasks by using the guidance of several expert teachers. We then show that the representations learnt by the deep policy network are capable of generalizing to new tasks with no prior expert guidance, speeding up learning in novel environments. Although our method can in general be applied to a wide range of problems, we use Atari games as a testing environment to demonstrate these methods.

研究の動機と目的

• 1つのディープ強化学習エージェントが同時に複数のタスクを学習できる手法を開発すること。
• 共有表現を用いてソースタスクから新しい未確認のターゲットタスクへ知識を転送できること。
• モデル圧縮技術を活用して、専門家ガイドランスを用いてコンパクトなマルチタスクポリシー・ネットワークを訓練すること。
• マルチタスク事前学習が、ランダム初期化と比較して、新しいタスクにおける学習速度を向上させることを実証すること。

提案手法

• 本手法は、インスティチューション学習を用いて、複数のゲーム固有の専門家ネットワークを模倣する1つのディープポリシー・ネットワーク（「ミミック」）を訓練する。
• モデル圧縮技術を適用して、専門家知識を共有され、コンパクトなポリシー・ネットワークに蒸留する。
• 行動の模倣のみに依存するのではなく、より豊かな監視を提供するための特徴量回帰目的を用いることで、表現学習が向上する。
• マルチタスクネットワークは、新しいターゲットタスクでファインチューニングされ、転移学習の利点が示される。
• 訓練の安定性を確保するため、DQNと同様にリプレイメモリとターゲットネットワークを用いる。
• 本手法は、Atari 2600ゲームを用いたArcade Learning Environment（ALE）で評価される。

実験結果

リサーチクエスチョン

• RQ1 専門家ガイドランスを用いて、1つのディープポリシー・ネットワークが複数の異なる強化学習タスクで良好な性能を発揮できるか？
• RQ2 Actor-Mimicによるマルチタスク事前学習は、未確認の新しいタスクにおける学習速度を著しく向上させるか？
• RQ3 マルチタスク学習中に学習された表現は、新しい環境へ効果的に一般化できるか？
• RQ4 行動の模倣のみでなく、中間特徴量の監視を組み込むことで、性能がどのように向上するか？
• RQ5 タスクの類似度が、このフレームワークにおける転移学習の成功に与える影響は何か？

主な発見

• Actor-Mimicネットワークは、1つの共有ポリシー・ネットワークを用いて、複数のAtariゲームで専門家水準のパフォーマンスを達成する。
• Actor-Mimicによるマルチタスク事前学習は、ランダム初期化と比較して、新しいターゲットタスクにおける学習速度を著しく向上させる。
• 特徴量回帰を監視信号として用いることで、行動のみの模倣と比較して、より優れた一般化性能が得られる。
• PongやBreakoutのように類似したメカニズムを持つタスク間では、共有される視覚的および構造的特徴のおかげで一般化が可能となる。
• ソースタスクとターゲットタスクが不似合である場合には、負の転送が生じ、転移学習の成功が低下する。
• 本手法は、1タスク用DQNと同等のモデル複雑度を維持しながら、同時に複数のタスクを学習することができる。