[論文レビュー] Dual Policy Distillation

Kwei-Herng Lai, Daochen Zha+2 more|arXiv (Cornell University)|Jun 7, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 10

ひとこと要約

本稿では、教師モデルを必要とせず、同じ環境で同時に学習する2つのエージェントが互いに知識蒸留を行う学生同士の強化学習フレームワーク、デュアルポリシー蒸留（DPD）を提案する。この手法は、『不利状態』と呼ばれる、相手エージェントが劣悪に動作する状態において、劣悪な行動から学ぶことを重視する不利な蒸留戦略を採用しており、関数近似を用いた連続制御タスクにおいて理論的・実験的両面で性能向上を達成する。

ABSTRACT

Policy distillation, which transfers a teacher policy to a student policy has achieved great success in challenging tasks of deep reinforcement learning. This teacher-student framework requires a well-trained teacher model which is computationally expensive. Moreover, the performance of the student model could be limited by the teacher model if the teacher model is not optimal. In the light of collaborative learning, we study the feasibility of involving joint intellectual efforts from diverse perspectives of student models. In this work, we introduce dual policy distillation(DPD), a student-student framework in which two learners operate on the same environment to explore different perspectives of the environment and extract knowledge from each other to enhance their learning. The key challenge in developing this dual learning framework is to identify the beneficial knowledge from the peer learner for contemporary learning-based reinforcement learning algorithms, since it is unclear whether the knowledge distilled from an imperfect and noisy peer learner would be helpful. To address the challenge, we theoretically justify that distilling knowledge from a peer learner will lead to policy improvement and propose a disadvantageous distillation strategy based on the theoretical results. The conducted experiments on several continuous control tasks show that the proposed framework achieves superior performance with a learning-based agent and function approximation without the use of expensive teacher models.

研究の動機と目的

• 深層強化学習における教師-学生蒸留の高い計算コストと性能限界を解決すること。
• 不完全なペアポリシーが、学生同士のフレームワークにおいて、相互学習に有益な知識を提供できるかを調査すること。
• 教師エージェントを一切使用せず、理論的裏付けをもつ実用的な蒸留戦略を開発し、ポリシー性能を向上させること。
• エキスパートのデモンストレーションや高価な教師モデルに依存せずに、連続制御タスクにおける高速かつサンプル効率の良い学習を可能にすること。

提案手法

• 2つの学生ポリシーが、異なるランダム初期化を用いて同じ環境で並列に学習する。
• 各ポリシーは自身の強化学習目的関数を最適化するとともに、相手ポリシーの行動と一致するよう促す蒸留損失を最小化する。
• 相手ポリシーが劣悪に動作する状態（すなわち「不利状態」）に重点を置く、不利な蒸留戦略を提案する。
• 蒸留目的は、両方のポリシーが、高損失領域における相手の劣悪な行動から学ぶことで、最適ポリシーに近づくように設計されている。
• 理論的分析により、2つのエージェントを組み合わせた仮想のハイブリッドポリシーからの蒸留は、理想条件下で保証されたポリシー改善をもたらすことが示された。
• フレームワークはDDPGをベースアルゴリズムとして実装し、関数近似を用いた連続制御ベンチマークで検証された。

実験結果

リサーチクエスチョン

• RQ1 教師モデルを一切使用せず、2つの不完全な学生ポリシーが相互に知識蒸留によって相互に改善できるか？
• RQ2 ノイズの多い、劣悪なペアポリシーからの蒸留は、ポリシー改善をもたらすのか、たとえ相手が劣悪であっても？
• RQ3 『不利状態』に焦点を当てた不利な蒸留戦略は、学習効率と最終的性能の向上に寄与するか？
• RQ4 デュアル蒸留フレームワークは、標準的なDDPGおよび教師-学生蒸留と比較して、サンプル効率および最終的性能においてどのように差がつくか？

主な発見

• 提案されたDPDフレームワークは、教師モデルを一切使用せず、連続制御タスクにおける学習速度と最終的性能が標準的なDDPGを顕著に上回った。
• 訓練の全段階にわたり、DPDエージェントのQ値はDDPGよりも速く上昇し、より高い値に達した。これは、価値推定の向上を示している。
• 2つのDPDエージェント間の行動の平均ユークリッド距離は、初期段階の0.43から、後期段階では0.31に減少し、ポリシーの収束と一致を示している。
• 実験的結果により、2つのDPDエージェントが環境の異なる側面を探索し、補完的行動を示していることが確認され、有益な知識移転の仮説が支持された。
• 不利な蒸留戦略は、高損失状態における劣悪な行動からの学習を的確に優先し、一貫したポリシー改善をもたらした。
• 理論的分析により、2つのエージェントから構成される仮想ハイブリッドポリシーからの蒸留は、理想条件下で保証されたポリシー改善をもたらすことが証明された。