[論文レビュー] Fighting Failures with FIRE: Failure Identification to Reduce Expert Burden in Intervention-Based Learning

Trevor Ablett, Filip Marić+1 more|arXiv (Cornell University)|Jul 1, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 7

ひとこと要約

FIRE（失敗特定による専門家負担軽減）は、実行中のポリシーの失敗を予測するための識別器を用いる手法であり、必要なときにのみ専門家による介入を早期に可能にする。専門家データと非専門家データの両方から学習することで、逆強化学習に比べてサンプル効率が1桁向上し、同じデータで行動クラーニングを上回る性能を達成する。

ABSTRACT

Supervised imitation learning, also known as behavioral cloning, suffers from distribution drift leading to failures during policy execution. One approach to mitigate this issue is to allow an expert to correct the agent's actions during task execution, based on the expert's determination that the agent has reached a `point of no return.' The agent's policy is then retrained using this new corrective data. This approach alone can enable high-performance agents to be learned, but at a substantial cost: the expert must vigilantly observe execution until the policy reaches a specified level of success, and even at that point, there is no guarantee that the policy will always succeed. To address these limitations, we present FIRE (Failure Identification to Reduce Expert Burden in intervention-based learning), a system that can predict when a running policy will fail, halt its execution, and request a correction from the expert. Unlike existing approaches that learn only from expert data, our approach learns from both expert and non-expert data, akin to adversarial learning. We demonstrate experimentally for a series of challenging manipulation tasks that our method is able to recognize state-action pairs that lead to failures. This permits seamless integration into an intervention-based learning system, where we show an order-of-magnitude gain in sample efficiency compared with a state-of-the-art inverse reinforcement learning method and dramatically improved performance over an equivalent amount of data learned with behavioral cloning.

研究の動機と目的

• 専門家がポリシー実行を継続的に監視する必要がある、介入ベースの模倣学習における高い専門家負担を軽減すること。
• 実行が進行する前にポリシーが失敗する可能性があると予測することで、失敗率を低下させ、ポリシーの頑健性を向上させること。
• 知的な失敗予測により、不要な専門家介入を最小限に抑えることで、より効率的な学習を可能にすること。
• 専門家による補正と自己改善型ポリシーを統合したクローズドループ学習フレームワークに失敗予測を統合すること。
• 専門家データと非専門家データの両方から学習することで、敵対的学習に類似したアプローチが、より良い一般化と早期失敗検出をもたらすことを示すこと。

提案手法

• ポリシーのロールアウト中に収集した専門家状態行動ペアと非専門家（失敗しやすい）ペアを区別するように識別器 $D$ を学習する。
• 識別器の出力を失敗予測器として使用する：$D(s,a) > \beta$ であれば、システムは失敗を予測し、実行を停止する。
• 連続する非専門家ペアの数を制御する調整可能なしきい値 $\beta$ を導入する。
• 失敗が予測された場合にのみ人間の専門家が介入し、補正用の遠隔操作データを提供してポリシーを再訓練する。
• 定期的に、元の専門家デモンストレーションと介入から収集した新しい専門家補正データを用いてポリシーを再訓練する。
• 生成的敵対的ネットワークに類似した敵対的学習の目的関数を識別器に活用し、勾配ペナルティによる過学習を回避することで、失敗検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 専門家データと非専門家データを用いて学習した識別器は、失敗が発生する前にその失敗を効果的に予測できるか？
• RQ2 失敗予測を介入ベースの学習に統合することで、連続的観察に比べて専門家の監視時間は短縮されるか？
• RQ3 FIREのサンプル効率は、操作タスクにおける最先端の逆強化学習手法と比較してどの程度優れているか？
• RQ4 専門家データと非専門家データの両方から学習することで、行動クラーニングに比べて失敗検出とポリシー性能はどの程度向上するか？
• RQ5 FIREの性能は、失敗予測しきい値 $\beta$ の選定にどの程度敏感か？

主な発見

• FIREは、挑戦的な操作タスクにおいて、最先端の逆強化学習手法に比べてサンプル効率が1桁向上した。
• 同じ量の専門家データを用いて学習した場合、FIREで訓練されたポリシーは行動クラーニングで訓練されたポリシーを上回り、最終的な性能が優れていることが示された。
• PushingXY、PickAndPlaceXY、PickAndPlace6Dofの環境では、それぞれ $\beta \geq 30$、$\beta \geq 35$、$\beta \geq 50$ の失敗予測しきい値が、失敗を50％以上の確率で正しく予測するのに十分であった。
• システムは専門家のフィードバックに応じて $\beta$ を動的に調整し、必要な場合にのみ介入が行われ、誤検出を最小限に抑える。
• 再訓練時に以前に訓練されたポリシーから初期化（ウォームスタート）することで、完全から再訓練するよりも優れた性能が得られ、専門家補正が既存のポリシーの誤りと整合している場合に最も効果的であることが示された。
• 単純なしきい値ルールを用いて識別器の出力を使用することで、最小限のハイパーパramータチューニングで信頼性が高く解釈可能な失敗予測信号が得られることを示した。