[論文レビュー] Ask4Help: Learning to Leverage an Expert for Embodied Tasks

Kunal Pratap Singh, Luca Weihs+4 more|arXiv (Cornell University)|Nov 18, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、必要に応じて専門家の支援を求める最小限の侵襲的ポリシーであるAsk4Helpを提案する。これにより、最小限の支援でタスクパフォーマンスが著しく向上する。元のエージェントを変更せずに訓練されるため、パフォーマンスと支援コストのバランスを学習し、オブジェクトナビゲーションでは成功率を52%から86%に、ルームリオーガニゼーションでは7%から90.4%に向上させた。それぞれ13%および39%の支援を用いて達成された。

ABSTRACT

Embodied AI agents continue to become more capable every year with the advent of new models, environments, and benchmarks, but are still far away from being performant and reliable enough to be deployed in real, user-facing, applications. In this paper, we ask: can we bridge this gap by enabling agents to ask for assistance from an expert such as a human being? To this end, we propose the Ask4Help policy that augments agents with the ability to request, and then use expert assistance. Ask4Help policies can be efficiently trained without modifying the original agent's parameters and learn a desirable trade-off between task performance and the amount of requested help, thereby reducing the cost of querying the expert. We evaluate Ask4Help on two different tasks -- object goal navigation and room rearrangement and see substantial improvements in performance using minimal help. On object navigation, an agent that achieves a $52\%$ success rate is raised to $86\%$ with $13\%$ help and for rearrangement, the state-of-the-art model with a $7\%$ success rate is dramatically improved to $90.4\%$ using $39\%$ help. Human trials with Ask4Help demonstrate the efficacy of our approach in practical scenarios. We release the code for Ask4Help here: https://github.com/allenai/ask4help.

研究の動機と目的

• 現在の最先端モデルが約50%の確率で失敗する実世界の応用において、エージェントの信頼性とパフォーマンスを向上させること。
• エージェントが必要最小限のときにのみ専門家の支援を求める方法を開発し、人的介入のコストを最小限に抑えること。
• 下位のエージェントのパラメータを変更せずに支援要求ポリシーを訓練することにより、モデルに依存しない適用可能性と計算コストの低減を実現すること。
• 推論時に支援コストを動的に調整できることを可能にし、パフォーマンスと支援頻度のトレードオフをユーザーが制御できること。
• アルゴリズム的専門家と人間の実験を用いてアプローチを検証し、強靭性と実用的有効性を示すこと。

提案手法

• Ask4Helpポリシーは、分離されたモジュールとして強化学習を用いて訓練され、エージェントが進行しなくなったときや、専門家の介入が有益であると判断されたときに、支援を求めるタイミングを学習する。
• タスク成功と専門家クエリの回数の両方をバランスさせる報酬関数を用い、最小限かつ効果的な支援要求を促進する。
• 主なエージェントに必要なデータ量と計算量の一部のみを用いて訓練されるため、元のモデルを再訓練せずに効率的なファインチューニングが可能になる。
• モデルに依存せず、Embodied CLIPなどのあらゆる事前学習済みエージェントに適用可能であり、アーキテクチャの変更が不要である。
• 推論時には、ユーザーが支援要求のコストしきい値を動的に設定でき、エージェントの専門家への問い合わせの意思の強さを調整できる。
• 本手法は、AI2-THORを用いたシミュレーションで、アルゴリズム的専門家と人間の専門家を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、適切なタイミングで専門家の支援を求める能力を学習し、最小限の支援でタスクパフォーマンスを著しく向上させることができるか？
• RQ2 下位エージェントのパラメータを変更せずに、支援要求ポリシーを効率的に訓練できるか？
• RQ3 タスク成功と専門家クエリ頻度の最適なトレードオフは何か？また、推論時に調整可能か？
• RQ4 人間の専門家とアルゴリズム的専門家を用いた場合、Ask4Helpポリシーの性能はどの程度で、ノイズや不完全な専門家信号に対しても強靭性を示せるか？
• RQ5 Ask4Helpポリシーは、さまざまなエージェントタスクに一般化可能であり、将来の最先端モデルにも適用可能か？

主な発見

• オブジェクトゴールナビゲーションでは、13%のエピソードステップで専門家支援を用いて、成功率を52%から86%に向上させた。
• ルームリオーガニゼーションでは、39%の支援を用いて、成功率を7%から90.4%に向上させ、困難なタスクで顕著な向上を示した。
• 人間による実験では、Ask4Helpの実用的有効性が確認され、人間の支援が実世界に類似したシナリオでエージェントのパフォーマンスを著しく向上させた。
• 専門家のノイズが混入したバージョンを用いても、ポリシーは高いパフォーマンスを維持し、劣化は最小限に抑えられた。
• 支援行動が含まれるエピソードステップの17%のみを用いても、顕著なパフォーマンス向上が達成されたことから、支援の利用効率が非常に高かった。
• アブレーションスタディーでは、学習されたAsk4Helpポリシーが、固定ステップしきい値のチューニングが必要なヒューリスティックよりも優れた性能を示し、低い成功率にとどまった。