[論文レビュー] Distilling Policy Distillation

Wojciech Marian Czarnecki, Razvan Pascanu+4 more|arXiv (Cornell University)|Feb 6, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 39

ひとこと要約

この論文は強化学習におけるポリシー蒸留の分野を概観し、オンポリシーの学生主導蒸留が収束する条件を分析し、期待エントロピー正則化蒸留と、教師の批評家を活用する方法を最良実践として提案する。

ABSTRACT

The transfer of knowledge from one policy to another is an important tool in Deep Reinforcement Learning. This process, referred to as distillation, has been used to great success, for example, by enhancing the optimisation of agents, leading to stronger performance faster, on harder domains [26, 32, 5, 8]. Despite the widespread use and conceptual simplicity of distillation, many different formulations are used in practice, and the subtle variations between them can often drastically change the performance and the resulting objective that is being optimised. In this work, we rigorously explore the entire landscape of policy distillation, comparing the motivations and strengths of each variant through theoretical and empirical analysis. Our results point to three distillation techniques, that are preferred depending on specifics of the task. Specifically a newly proposed expected entropy regularised distillation allows for quicker learning in a wide range of situations, while still guaranteeing convergence.

研究の動機と目的

• RLで用いられるポリシー蒸留の形式の幅とその動機を明確にする。
• オンポリシーの学生主導蒸留が収束する場合と、振動したり失敗する場合を特徴づける。
• アクタークリティック設定と教師の価値関数が蒸留をどのように支援できるかを調査する。
• 頑健な蒸留変種と方法選択の実用的な判断ガイドを提案する。
• 数千のランダムMDPを用いた蒸留アプローチの実証比較から最良の実践を導出する。

提案手法

• 蒸留変種を体系的に比較する（教師蒸留、オンポリシー蒸留、オンポリシー蒸留+R、エントロピー正則化、N蒸留、実エントロピー正則化、Teacher V 報酬）を理論的にも経験的にも。
• 学生由来のトラジェクトリを用いたオンポリシー蒸留は一般に勾配ベクトル場を形成せず、報酬が存在すると振動する可能性があることを証明し、勾配場性を回復する方法を示す。
• 期待エントロピー正則化蒸留を勾配に適した低分散で忠実な複製法として導入・検証する。
• 教師の価値関数が利用可能なアクタークリティックの状況を探求し、Vが学習を改善またはブートストラップするゲーティング効果を示す。
• 数千のランダムMDPを用いて制御ポリシーの選択（教師主導、学生主導、均一）と更新規則を比較し、実用的な指針を特定する。

実験結果

リサーチクエスチョン

• RQ1 オンポリシーの学生主導蒸留はどの条件で収束し、または振動するか。
• RQ2 報酬が存在する場合、勾配ベクトル場に整合した更新を蒸留で達成できるか。
• RQ3 アクタークリティック設定で教師の価値関数を組み込んで蒸留を改善するにはどうすればよいか。
• RQ4 多様なMDPを横断して信頼性の高い収束と高速学習を提供する蒸留変種はどれか。
• RQ5 タスク特性に基づいて蒸留手法を選択する際に現れる実用的な指針は何か。

主な発見

• オンポリシー蒸留は学生生成トラジェクトリを用いると一般に勾配ベクトル場を形成せず、報酬が関与すると収束しないことがある；勾配整合の補正は可能。
• 学生主導蒸留は学生に関連する状態分布全体における教師の挙動のより速く広範な複製をもたらし、経験的試験で教師主導蒸留を上回る。
• 提案された期待エントロピー正則化蒸留は最も信頼できる変種で、勾配場の妥当性、低分散、軌跡レベルの効果的なクローン化を組み合わせている。
• 教師のクリティックをゲーティングやブートストラップ学習に用いることで、教師が不完全またはノイズが多い場合に性能を回復・向上させることができる。
• アクタークリティック設定では、教師の価値関数を活用することで、特定の条件下で学生の性能を教師と同等以上にすることができる；教師の批評家からの内的報酬が学習ダイナミクスを形成する。