[論文レビュー] Robotic Self-Assessment of Competence

Gertjan J. Burghouts, A.G. Huizing+1 more|arXiv (Cornell University)|May 4, 2020

Cardiac Arrest and Resuscitation参考文献 5被引用数 6

ひとこと要約

本稿では、動的環境においてAIエージェントがオンラインでその実行能力を評価できるロボット自己評価フレームワークを提案している。未知の状況を検出すると人間のフィードバックを求める仕組みを備え、ゼロショットの能力検出と事前知識に基づく一般化の2つの手法を用い、人間を含むフィードバックループにより、実世界のナビゲーションにおいて能力がある・ないの両状況で信頼性が向上することを示している。

ABSTRACT

In robotics, one of the main challenges is that the on-board Artificial Intelligence (AI) must deal with different or unexpected environments. Such AI agents may be incompetent there, while the underlying model itself may not be aware of this (e.g., deep learning models are often overly confident). This paper proposes two methods for the online assessment of the competence of the AI model, respectively for situations when nothing is known about competence beforehand, and when there is prior knowledge about competence (in semantic form). The proposed method assesses whether the current environment is known. If not, it asks a human for feedback about its competence. If it knows the environment, it assesses its competence by generalizing from earlier experience. Results on real data show the merit of competence assessment for a robot moving through various environments in which it sometimes is competent and at other times it is not competent. We discuss the role of the human in robot's self-assessment of its competence, and the challenges to acquire complementary information from the human that reinforces the assessments.

研究の動機と目的

• ロボットAIエージェントが未知または予期しない環境で過信しすぎることの課題に対処すること。
• ロボットが自らの既知の能力領域外で動作していることを検出できるようにすること。
• 事前知識がなく、もしくは意味的事前知識がある状況において、オンラインでリアルタイムにAI能力を評価する方法を開発すること。
• 人間のフィードバックを効果的に統合し、ロボットの自己評価の正確性と信頼性を向上させること。
• 環境の能力レベルにばらつきがある状況で、実世界のロボットナビゲーションタスクにおいてフレームワークを検証すること。

提案手法

• ロボットは、現在の環境が自身の経験範囲外にあるかどうかを評価するための新奇性検出メカニズムを用いる。
• 新奇性が検出された場合、システムは新しい環境における能力水準を補正するため人間のフィードバックを要請する。
• 事前意味的知識がある環境では、学習済みの能力モデルを用いて過去の経験から一般化する。
• フィードバックを用いて能力モデルを段階的に更新することで、時間経過に伴う適応的自己評価が可能になる。
• 人間を含むフィードバックループを統合し、自己評価の信頼性を高め、過信を低減する。
• 二重パスアプローチを採用：一方はゼロショット能力検出、もう一方は知識強化型能力推定。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、AIモデルが能力を発揮できない未知の環境で動作していることをどのように検出できるか？
• RQ2 環境の事前知識がなければ、信頼性のある能力自己評価を実現するためのメカニズムは何か？
• RQ3 環境に関する事前意味的知識を活用して能力推定をどのように改善できるか？
• RQ4 人間のフィードバックはロボットの能力自己評価をどのように補正するか？
• RQ5 人間のフィードバック統合は、動的環境におけるロボット意思決定の頑健性と信頼性をどのように向上させるか？

主な発見

• 提案手法は、実世界のロボットナビゲーションタスクにおいて未知の環境を効果的に検出し、必要に応じて人間のフィードバックを発動した。
• 事前知識に基づく手法を用いたロボットは、ゼロショット検出のみに比べて、能力評価をより正確に一般化した。
• 人間のフィードバックは、ロボットの自己評価の信頼性を著しく向上させ、不確実な状況での過信を低減した。
• 能力レベルが場所によって異なる複雑な環境でも、システムは信頼性が向上した。
• フレームワークは実世界の環境で検証され、動的で予測不能な環境において実用的かつ効果的であることが示された。
• 人間のフィードバック統合により、ロボットが能力がある状況とない状況を識別する能力が明確に向上した。