[論文レビュー] Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch

Michael Wan, Tanmay Gangwani+1 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 5

ひとこと要約

本稿では、状態空間および行動空間が不一致である教師方策と生徒方策間の強化学習における知識伝達を可能にする、相互情報に基づく知識伝達（MIKT）を提案する。タスクに整合した埋め込みを学習し、方策勾配と相互情報の両方の損失を最適化することで、MIKTは複雑な歩行タスクにおいて、VPG や MLPP といったベースラインと比べて、サンプル効率および最終的パフォーマンスで顕著に優れた性能を発揮する。

ABSTRACT

Deep reinforcement learning (RL) algorithms have achieved great success on a wide variety of sequential decision-making tasks. However, many of these algorithms suffer from high sample complexity when learning from scratch using environmental rewards, due to issues such as credit-assignment and high-variance gradients, among others. Transfer learning, in which knowledge gained on a source task is applied to more efficiently learn a different but related target task, is a promising approach to improve the sample complexity in RL. Prior work has considered using pre-trained teacher policies to enhance the learning of the student policy, albeit with the constraint that the teacher and the student MDPs share the state-space or the action-space. In this paper, we propose a new framework for transfer learning where the teacher and the student can have arbitrarily different state- and action-spaces. To handle this mismatch, we produce embeddings which can systematically extract knowledge from the teacher policy and value networks, and blend it into the student networks. To train the embeddings, we use a task-aligned loss and show that the representations could be enriched further by adding a mutual information loss. Using a set of challenging simulated robotic locomotion tasks involving many-legged centipedes, we demonstrate successful transfer learning in situations when the teacher and student have different state- and action-spaces.

研究の動機と目的

• 教師と生徒エージェントの状態空間および行動空間が異なる場合に、深層強化学習における知識伝達の課題に対処すること。
• 多脚ロボット歩行のような複雑で高次元の制御タスクにおける有効な転移学習を可能にすること。
• 従来の方法が共有の状態空間または行動空間を必要とし、特にKLダイバージェンスや固定レイヤー間の横方向接続に依存するという制限を克服すること。
• 構造的不一致があるにもかかわらず、教師ネットワークから生徒ネットワークへの意味のある表現を抽出・伝達するフレームワークを設計すること。
• 相互情報正則化が表現品質および転移パフォーマンスを向上させることを実証的に検証すること。

提案手法

• 教師および生徒の表現を共通空間にマップするためのニューラルネットワークエンコーダを用いて、共有埋め込み空間を学習すること。
• PPOに基づく方策勾配損失と、タスクに整合するように表現を整列させるための相互情報損失を組み合わせた損失関数を用いてエンコーダを訓練すること。
• 最終的な方策ヘッドで、生徒および教師の表現の重み付き線形結合を用い、重みを訓練中に動的に学習させること。
• エンコーダが教師の方策および価値ネットワークからのタスク関連情報の保存を促進するために、相互情報損失を適用すること。
• 教師と生徒のレイヤー間の可学習変換行列を避けるために、直接的に埋め込み表現を用いること。
• 強化学習方策目的と相互情報目的の両方からの勾配を用いてエンコーダを最適化することで、表現品質を向上させること。

実験結果

リサーチクエスチョン

• RQ1 状態空間および行動空間が不一致である場合に、教師方策から生徒方策への知識伝達が有効に行えるか？
• RQ2 相互情報の学習目的を組み込むことで、強化学習における転送表現の品質が向上するか？
• RQ3 構造的類似性はあるが状態・行動次元が異なるタスクにおいて、MIKTの性能は標準的RLおよび従来の知識蒸留ベースラインと比べてどうなるか？
• RQ4 転移学習の有効性は、教師と生徒のタスクの類似度にどの程度依存するか？
• RQ5 教師が類似していない場合に、教師および生徒の表現の寄与度は訓練中にどのように変化するか？

主な発見

• MIKT は、全テストロボット歩行タスクにおいて、VPG や MLPP ベースラインと比べて、初期段階のサンプル効率および最終的なエピソードリターンの両面で顕著に優れた性能を示した。
• PPO と相互情報損失の両方を含む MIKT モデルは、いずれの損失成分も欠落したバリアントと比べて、より高い最終的パフォーマンスとより速い学習曲線を達成した。
• アブレーションスタディの結果、相互情報損失を削除すると初期段階の性能が著しく低下し、表現学習におけるその重要性が示された。
• 教師が類似していない場合（例：Hopper）では、モデルが自らの表現にすぐに依存するようになり、生徒表現の重みが急激に上昇することが示された。これは、類似していないタスクでは転送が効果的でないことを確認した。
• タスクに整合した埋め込みの使用により、状態次元（139D 対 97D）および行動次元（16D 対 10D）が異なる教師と生徒間でも、成功した知識伝達が可能であることが確認され、フレームワークの頑健性が裏付けられた。
• キーバイクの歩行タスクにおける実証的結果から、タスク間の構造的類似性が、異なる脚数であっても有効な知識伝達を可能にすることが示された。