[論文レビュー] RLIF: Interactive Imitation Learning as Reinforcement Learning

Jianlan Luo, Perry Dong+3 more|arXiv (Cornell University)|Nov 21, 2023

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、インタラクティブな模倣学習における人間の干渉信号を報酬信号として扱う強化学習フレームワーク、RLIFを提案する。これにより、劣化した専門家行動を超えて性能を向上させるポリシーの学習が可能になる。専門家の示唆ではなく、干渉フィードバックに基づいて学習することで、特に専門家が不完全な状況下でも、高次元制御タスクで優れた性能を達成し、サンプルの複雑さと近似のギャップに関する理論的保証を提供する。

ABSTRACT

Although reinforcement learning methods offer a powerful framework for automatic skill acquisition, for practical learning-based control problems in domains such as robotics, imitation learning often provides a more convenient and accessible alternative. In particular, an interactive imitation learning method such as DAgger, which queries a near-optimal expert to intervene online to collect correction data for addressing the distributional shift challenges that afflict naïve behavioral cloning, can enjoy good performance both in theory and practice without requiring manually specified reward functions and other components of full reinforcement learning methods. In this paper, we explore how off-policy reinforcement learning can enable improved performance under assumptions that are similar but potentially even more practical than those of interactive imitation learning. Our proposed method uses reinforcement learning with user intervention signals themselves as rewards. This relaxes the assumption that intervening experts in interactive imitation learning should be near-optimal and enables the algorithm to learn behaviors that improve over the potential suboptimal human expert. We also provide a unified framework to analyze our RL method and DAgger; for which we present the asymptotic analysis of the suboptimal gap for both methods as well as the non-asymptotic sample complexity bound of our method. We then evaluate our method on challenging high-dimensional continuous control simulation benchmarks as well as real-world robotic vision-based manipulation tasks. The results show that it strongly outperforms DAgger-like approaches across the different tasks, especially when the intervening experts are suboptimal. Code and videos can be found on the project website: https://rlif-page.github.io

研究の動機と目的

• インタラクティブな模倣学習の限界、すなわち近似的に最適な専門家の干渉を仮定しており、専門家の性能を超えることができないという問題に対処すること。
• 真の報酬関数を必要とせず、インタラクティブな模倣学習と同様の現実的仮定のもとで強化学習が動作することを可能にすること。
• RLIFとDAggerの両方を分析する統一的な理論的枠組みを形式化すること。これには、漸近的近似のギャップと有限サンプルの複雑さの境界が含まれる。
• RLIFがDAggerに類似する手法を、特に専門家の干渉が劣化している状況で、実験的に上回ることを検証すること。
• 干渉戦略と専門家の劣化度が学習性能に与える影響を調査すること。

提案手法

• RLIFは、ポリシーの実行中に発生する人間の干渉意思決定を、暗黙の報酬信号として扱い、干渉を引き起こす行動には負の報酬を割り当てる。
• この手法は、干渉の頻度を最小化するように最適化するオフポリシー強化学習を用い、修正を引き起こす行動を避ける学習を可能にする。
• 干渉の発生確率を符号化する報酬関数 $ \tilde{r}_{\delta}(s,a) $ を導入し、$ \delta $ は干渉検出の感度を制御する。
• 理論的分析により、RLIFのサンプル複雑さが $ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $ で有界であることが示され、真の報酬を用いた標準的な強化学習と同等の性能を示す。
• RLIFとDAggerを比較可能な統一枠組みを構築し、共通の仮定のもとでの漸近的近似ギャップの分析を可能にする。
• 本手法は、連続的制御ベンチマークおよび実世界のロボット視覚ベースの操作タスクにおいて、劣化した干渉を伴う人間を含むループデータを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 干渉が最適でない状況下でも、強化学習を模倣学習データに効果的に適用し、改善されたポリシーを得られるか？
• RQ2 RLIFの性能は、専門家の劣化度と干渉戦略にどのように依存するか？
• RQ3 干渉フィードバックを報酬信号として用いた場合、$ \epsilon $-最適ポリシーを学習するための理論的サンプル複雑さは何か？
• RQ4 同様の仮定のもとで、RLIFの漸近的近似ギャップはDAggerと比べてどうなるか？
• RQ5 RLIFは、専門家の示唆が劣化している高次元の視覚ベースのロボット制御タスクに一般化可能か？

主な発見

• RLIFは、高次元連続的制御シミュレーションおよび実世界のロボット操作タスクにおいて、特に専門家の干渉が劣化している状況で、DAggerに類似する手法を顕著に上回る。
• 本手法は、$ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $ のサンプル複雑さの境界を達成し、真の報酬を用いた標準的な強化学習と同等の理論的サンプル複雑さを示している。
• 実験的アブレーションにより、性能が干渉モデルと専門家の劣化度に敏感であることが確認され、理論的根拠の妥当性が裏付けられた。
• RLIFの漸近的近似ギャップは、エピソードの長さに比例するが、DAggerと同様の線形性を示す。ただし、報酬最大化のおかげで定数係数が改善されている。
• RLIFは、単に是正行動を模倣するのではなく、干渉を引き起こす状況を避ける学習を可能にし、より強固で一般化可能な行動を実現する。
• 理論的分析により、干渉報酬下での最適ポリシー集合の直径 $ \left|\Pi^{\mathrm{opt}}_{\delta}\right| $ が $ \delta $ に対して単調減少であることが示され、より良い干渉検出による一貫したポリシー改善が裏付けられた。