[論文レビュー] Accuracy-based Curriculum Learning in Deep Reinforcement Learning

Pierre Fournier, Olivier Sigaud+2 more|arXiv (Cornell University)|Jun 25, 2018

Reinforcement Learning in Robotics参考文献 23被引用数 24

ひとこと要約

本論文は、深層強化学習における精度ベースのカリキュラム学習を提案する。エージェントは、習得度の進行に応じて精度要件（ε）を動的に変更することで、タスクの難易度を調整する。初期段階では容易な精度レベルを優先し、徐々に厳格なレベルへと移行することで、DDPGとUVFAを用いたReacher環境において、固定またはランダムな精度スケジューリングと比較して、学習効率と最終的パフォーマンスが顕著に向上する。

ABSTRACT

In this paper, we investigate a new form of automated curriculum learning based on adaptive selection of accuracy requirements, called accuracy-based curriculum learning. Using a reinforcement learning agent based on the Deep Deterministic Policy Gradient algorithm and addressing the Reacher environment, we first show that an agent trained with various accuracy requirements sampled randomly learns more efficiently than when asked to be very accurate at all times. Then we show that adaptive selection of accuracy requirements, based on a local measure of competence progress, automatically generates a curriculum where difficulty progressively increases, resulting in a better learning efficiency than sampling randomly.

研究の動機と目的

• 動的に調整される精度要件（ε）が、深層強化学習における学習効率を向上させるかどうかを調査すること。
• 習得度の進行が、連続的制御タスクにおけるカリキュラム生成を導くのに有効かどうかを評価すること。
• ランダムにε値をサンプリングする方法と、進行に基づく適応的選択を比較し、より高いサンプル効率を達成できるかどうかを検証すること。
• 緩い精度制約から学習することで、より厳しい制約への一般化がどの程度可能かを探索すること。
• 精度要件に基づくカリキュラム学習が、連続的アクション空間において自動化可能で効果的であることを示すこと。

提案手法

• 本手法は、マルチゴール強化学習を扱うために、ユニバーサル価値関数近似（UVFA）を用いた深層決定的方策勾配（DDPG）を採用する。
• 精度要件（ε ∈ {0.02, 0.03, 0.04, 0.05}）を動的カリキュラムパラメータとして扱い、エージェントはさまざまなε値で訓練される。
• 習得度の進行は、各εにおける成功確率の時間的変化率として計算され、学習進行の代理指標として用いられる。
• アクティブカリキュラム戦略は、現在の習得度進行に基づいてε値をサンプリングし、より速い改善を示すものに高い優先度を与える。
• サンプリング戦略は、習得度進行に基づくβパラメータ化されたソフトマックスを用い、カリキュラム選択における探索と活用のバランスを取る。
• ベースラインとして、固定されたランダムなε値のサンプリングと、適応的アクティブ-ε戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 複数のランダムにサンプリングされた精度要件（ε）で訓練することで、固定で厳格な精度要件を使用する場合と比較して、学習効率が向上するか？
• RQ2 習得度の進行が、深層強化学習における有効なカリキュラムを自動生成するための信頼できるシグナルとして機能するか？
• RQ3 初期段階で容易な精度レベルから始め、徐々に難易度を上げる適応的カリキュラムが、ε値のランダムなサンプリングを上回る性能を示すか？
• RQ4 連続的制御タスクにおいて、緩い精度制約から学習した結果が、より厳しい制約へどの程度一般化できるか？
• RQ5 進行に基づいてεを動的に調整することで、最終的パフォーマンスと学習の安定性にどのような影響が生じるか？

主な発見

• 精度要件（ε）のランダムサンプリングは、単一の厳格なε値で訓練する場合と比較して、学習速度と最終的精度の両面で顕著な向上をもたらす。
• 局所的な習得度進行に基づいてεを選択するアクティブ-ε戦略は、ランダムサンプリングよりも初期段階での学習が速く、最終的な精度も高い。
• 低精度タスク（例：ε = 0.05）における習得度進行は、初期に急激に上昇し、ピークに達した後で plateau に達する傾向を示し、容易な目標の習得を示している。
• 約150,000トレーニングステップを過ぎると、エージェントは高精度タスク（例：ε = 0.02）に焦点を移し、依然として測定可能な進行を示していることから、効果的なカリキュラム進行が実現されている。
• アクティブ-ε戦略は、トレーニングランのばらつきを低減し、ランダムなεサンプリングと比較してより高いロバスト性を示している。
• 習得度進行に基づくカリキュラムは、手動で設計されたスケジューリングなしに、自然に容易なタスクを最初に優先し、徐々に難易度を上げるという人間の学習プロセスに類似した進行を実現している。