[論文レビュー] When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning

Annie Xie, Fahim Tajwar+2 more|arXiv (Cornell University)|Oct 19, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、逆転不能状態を検出し回避する能力を学習することで、人間の監視を削減する自律強化学習のための予防的介入フレームワークPAINTを提案する。必要なときにのみラベル効率の良い二分探索を用いて逆転可能ラベルを照会し、これと逆転不能状態を予測する分類器を組み合わせることで、PAINTは連続制御タスクにおいても高いサンプル効率と介入効率を維持しながら、最大15倍も少ない介入で済ませる（300万ステップで約100回の介入）。

ABSTRACT

A long-term goal of reinforcement learning is to design agents that can autonomously interact and learn in the world. A critical challenge to such autonomy is the presence of irreversible states which require external assistance to recover from, such as when a robot arm has pushed an object off of a table. While standard agents require constant monitoring to decide when to intervene, we aim to design proactive agents that can request human intervention only when needed. To this end, we propose an algorithm that efficiently learns to detect and avoid states that are irreversible, and proactively asks for help in case the agent does enter them. On a suite of continuous control environments with unknown irreversible states, we find that our algorithm exhibits better sample- and intervention-efficiency compared to existing methods. Our code is publicly available at https://sites.google.com/view/proactive-interventions

研究の動機と目的

• エージェントが逆転不能状態に陥った際に自主的に検出・支援要請を行うことで、強化学習における人間の監視を低減すること。
• 通常は人間の監視者から高価に取得される必要がある、逆転可能ラベルの数を最小限に抑えること。
• 効率的なラベル取得と予防的介入を組み合わせたフレームワークを設計し、逆転不能ダイナミクスを有する現実世界のRL設定における自律性を向上させること。
• ノイズのあるラベルや確率的遷移に対して本手法の耐性を評価し、実用的導入の可能性を保証すること。

提案手法

• 逆転不能状態への訪問をペナルティ化する逆転可能意識Q値関数を提案し、学習中にそれらを避けるようエージェントを促進する。
• 標準的な安全強化学習と比較して、各軌道あたり最大O(log T)クエリで状態の逆転可能性を特定する二分探索ベースのラベリング方式を採用する。
• 延長エピソードの終了時にのみ逆転可能ラベルを照会するバッチラベリング戦略を導入し、リアルタイム監視を軽減する。
• ラベル付きデータを用いて状態の逆転可能性を予測する分類器を訓練し、高い不確実性または高リスク状態が検出された際に、事前に介入要請を可能にする。
• 信頼度ベースおよびアンサンブルベースの不確実性推定を統合し、予測の信頼度が低い場合にのみラベル照会を行うことで、ラベルクエリ数をさらに削減する。
• 隣接する状態のスライディングウインドウを用いてラベルを平均化する、耐障害性の高いバージョンを実装し、人間が提供する逆転可能ラベルのノイズに強くする。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、最小限の人的監視で逆転不能状態を検出できるか？
• RQ2 逆転可能ラベルをどのように効率的に取得すれば、トレーニング中の人的クエリ数を削減できるか？
• RQ3 分類器が逆転不能状態をどれだけ正確に予測できるか。これにより、リアルタイム監視の必要性をどれだけ低減できるか？
• RQ4 ノイズのある逆転可能ラベルや確率的環境ダイナミクスに対して、本手法はどれほど耐性を示すか？
• RQ5 未知の逆転不能状態を有する多様な連続制御タスクにおいて、本フレームワークは高いサンプル効率と介入効率を維持できるか？

主な発見

• PAINTは300万ステップのトレーニングで必要な介入回数を約100回にまで削減し、従来のアルゴリズムと比較して最大15倍も少ない。
• ラベル効率の良い二分探索方式により、1軌道あたりの逆転可能ラベルクエリ数をO(T)からO(log T)に削減し、人的ラベリング負荷を顕著に低減した。
• 信頼度ベースのクエリ方式を用いることで、ラベル数を3,000回から100未満にまで削減したが、高い成功率を維持した。
• アンサンブルベースの不確実性クエリ方式を用いることで、不確実性閾値を0.0001に設定した場合、約750ラベルで高い性能を達成した。
• 耐障害性の高いPAINTバージョンは、最大20％の誤検出または誤検出ラベルを許容でき、ウィンドウサイズ10で60〜80％の成功率を維持した。
• ノイズレベルσ = 0.5まで、ノイズのある遷移に対してPAINTは耐性を示したが、アクションの大きさを超えるノイズ（σ = 1.0）では失敗した。