[論文レビュー] Smooth Imitation Learning for Online Sequence Prediction

Hoang Le, Andrew H. Kang+2 more|arXiv (Cornell University)|Jun 3, 2016

Reinforcement Learning in Robotics参考文献 21被引用数 14

ひとこと要約

本稿では、オンライン順序予測における滑らかな模倣学習を実現するための学習還元フレームワークであるSIMILEを提案する。適応的正則化と決定的ポリシー補間を用いることで、より高速かつ安定した収束を達成する。適応的学習率と滑らかなフィードバックにより、理論的にも高速な収束を保証し、顕著な性能向上を示すカメラ計画タスクで検証された。

ABSTRACT

We study the problem of smooth imitation learning for online sequence prediction, where the goal is to train a policy that can smoothly imitate demonstrated behavior in a dynamic and continuous environment in response to online, sequential context input. Since the mapping from context to behavior is often complex, we take a learning reduction approach to reduce smooth imitation learning to a regression problem using complex function classes that are regularized to ensure smoothness. We present a learning meta-algorithm that achieves fast and stable convergence to a good policy. Our approach enjoys several attractive properties, including being fully deterministic, employing an adaptive learning rate that can provably yield larger policy improvements compared to previous approaches, and the ability to ensure stable convergence. Our empirical results demonstrate significant performance gains over previous approaches.

研究の動機と目的

• オンラインの文脈入力を伴う連続的かつ動的な環境において、専門家のデモンストレーションから滑らかで決定的なポリシーを学ぶ課題に対処する。
• 滑らかなポリシークラスを形式化することで、模倣学習における分布シフト問題を克服し、安定的かつ一般化可能な行動を保証する。
• 計算効率を維持したまま、教師あり学習の保証を順序的かつオンラインな設定に拡張する学習還元アプローチを開発する。
• SEARNなどの先行手法よりも高速な収束を実現するため、ポリシー性能に基づく適応的学習率を導入する。
• 滑らかなフィードバック生成と決定的ポリシー補間により、確率的手法の不安定性を回避し、安定した学習を実現する。

提案手法

• 滑らかなカーネルを用いた再生核ヒルベルト空間（RKHS）を用いて滑らかなポリシークラスを形式化し、行動出力の有界な変動性と連続性を保証する。
• 反復的に滑らかなフィードバックを用いて訓練データを生成する学習メタアルゴリズムを導入：$\hat{a}_t^n = \sigma a_t^n + (1 - \sigma) a_t^*$、ここで$\sigma$は反復の進行に従い徐々に減少する。
• 決定的ポリシー補間を適用：$\pi_{\text{new}} = \beta \pi + (1 - \beta) \hat{\pi}$、ここで$\beta$は相対的経験的損失に基づき適応的に選択され、収束を加速する。
• 滑らかなポリシークラスの安定性特性を活用し、固定率手法よりも優れた収束速度の理論的保証を導出する。
• 教師あり回帰に基づくポリシー集約フレームワークを用い、ターゲットラベルを専門家の行動の滑らかに平滑化された版とする。これによりノイズ低減と一般化性能の向上が達成される。
• 確率的ロールアウトを回避することで完全に決定的となる訓練を実現し、DAgger や SEARN よりもサンプル複雑性が低く、訓練の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 オンライン順序予測において、安定的で連続的な行動シーケンスを実現する滑らかなポリシークラスをどのように形式化できるか？
• RQ2 ポリシー補間における適応的学習率は、SEARN のような固定率手法と比較して、理論的にも高速な収束を達成できるか？
• RQ3 パラメータ化されたターゲットラベルを用いた滑らかなフィードバック生成は、ポリシーの安定性と収束速度にどのような影響を及えるか？
• RQ4 一般化性能とサンプル効率の観点から、決定的ポリシー補間は確率的補間と比較してどのように異なるか？
• RQ5 提案手法は、自動カメラ計画などの実世界のオンライン制御タスクにおいて、どの程度の性能向上を達成できるか？

主な発見

• 適応的学習率$\hat{\beta} = \frac{\texttt{error}(\pi)}{\texttt{error}(\hat{\pi}) + \texttt{error}(\pi)}$を用いることで、SIMILEはSEARNよりも著しく高速な収束を達成する。この学習率はポリシー性能に応じて動的に調整される。
• 徐々に減少する$\sigma$（1から0へ）を用いた滑らかなフィードバックにより、初期段階での安定した学習が可能となり、特に初期ポリシーが劣っている場合に、高精度だが滑らかでないターゲットによる不安定性を回避できる。
• 経験的誤差と平均ロールアウト性能の両面で、決定的ポリシー補間は確率的補間を上回る。図7では$\beta = 0.5$および50回の確率的ロールアウトを用いた結果が確認されている。
• カメラ計画タスクにおける実験結果から、SIMILEは10回未満の反復で滑らかで正確な軌道を学習し、視覚的および定量的指標において非滑らかなポリシーおよび先行手法を上回る性能を示した。
• 本手法は、DAggerの超線形な学習時間やSEARNの保守的な収束と比較して、優れたサンプル効率と安定性を示した。
• 理論的分析により、SIMILEの適応的レートは、教師あり学習器が完全な正確性を達成しないアグノスティック設定でさえも、固定率アプローチよりも理論的にも高速な収束を保証することが確認された。