[論文レビュー] Using Social Cues to Recognize Task Failures for HRI: Overview, State-of-the-Art, and Future Directions

Alexandra Bremers, Alexandria Pabst+2 more|arXiv (Cornell University)|Jan 27, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、行動科学、人間-ロボットインタラクション（HRI）、機械学習の知見を活用して、周囲の人の社会的ヒント（顔の表情やジェスチャーなど）を解釈することで、ロボットが物理的タスクの障害を検出するフレームワークを提案する。自己認識と社会的フィードバックに基づく障害検出の分類法を提唱し、主な技術的・データ的課題を特定し、自律的かつ社会的に認識できる障害検出の発展を促すために、公開可能なデータセットの整備を提言する。

ABSTRACT

Robots that carry out tasks and interact in complex environments will inevitably commit errors. Error detection is thus an essential ability for robots to master to work efficiently and productively. People can leverage social feedback to get an indication of whether an action was successful or not. With advances in computing and artificial intelligence (AI), it is increasingly possible for robots to achieve a similar capability of collecting social feedback. In this work, we take this one step further and propose a framework for how social cues can be used as feedback signals to recognize task failures for human-robot interaction (HRI). Our proposed framework sets out a research agenda based on insights from the literature on behavioral science, human-robot interaction, and machine learning to focus on three areas: 1) social cues as feedback (from behavioral science), 2) recognizing task failures in robots (from HRI), and 3) approaches for autonomous detection of HRI task failures based on social cues (from machine learning). We propose a taxonomy of error detection based on self-awareness and social feedback. Finally, we provide recommendations for HRI researchers and practitioners interested in developing robots that detect task errors using human social cues. This article is intended for interdisciplinary HRI researchers and practitioners, where the third theme of our analysis provides more technical details aiming toward the practical implementation of these systems.

研究の動機と目的

• ロボットの障害検出システムを構築し、物理的タスク障害の特定に向け、周囲の人々の社会的ヒントをリアルタイムのフィードバックとして活用すること。
• 行動科学、HRI、機械学習の垣根を越えて、社会的ヒントの解釈に関する統合的知見を提示し、分野間のギャップを埋めること。
• 現在のHRIシステムにおける研究ギャップ、特にロボットの障害への反応を捉えたラベル付きで公開可能なデータセットの不足を特定すること。
• 動的な環境下で社会的ヒントに基づく障害検出に適した、強固なマルチモーダル機械学習モデルを構築するための実務家へのガイダンスを提供すること。
• ロボットの障害に対する人間の反応を捉えたデータセットを公開することで、研究の加速とモデルの汎化能力向上を促進することを提唱すること。

提案手法

• 非言語的コミュニケーションに関する行動科学の知見を統合し、障害フィードバックに適した社会的関連のヒントを定義する。
• ロボットの障害に対する人間の反応を分析するHRI研究をレビューし、視線、顔の表情、ジェスチャーなどの観察可能な行動に焦点を当てる。
• 特に深層学習と強化学習を活用した機械学習手法を分析し、周囲の人々の反応をタスク障害の兆候として分類する。
• 自己認識と社会的フィードバックに基づく障害検出の分類法を提唱し、障害認識戦略の構造的分類を可能にする。
• 視覚、音声、運動などのマルチモーダルデータ統合を強調し、現実世界のHRI環境における耐障害性を向上させる。
• 性能評価とラベルの信頼性を測るため、バランス精度やCohenのKappa係数といった指標を用いて、最新のベースラインと比較して新しいモデルをベンチマーク化することを提言する。

Figure 1. Schematic overview of interaction intelligence for task failure detection through bystander response. A failure occurs (left), leading to a human reaction (center), which is used as data input for failure prediction from the robot (right). Detection of failure is an important first step fo

実験結果

リサーチクエスチョン

• RQ1 行動科学において、周囲の人々の顔の表情から得られる障害認識はどのように定義されているか？
• RQ2 人間-ロボットインタラクション分野における、障害認識と社会的ヒント処理の最新の研究動向は何か？また、主な研究ギャップは何か？
• RQ3 ロボットの障害に対する周囲の人々の表情を用いてタスク障害を検出するための最新のアルゴリズムツールとデータセットは何か？
• RQ4 年齢、性別、ロボットの外見などの人口統計的要因や人間らしさの要因は、人間のロボット障害への反応にどのように影響を与えるか？
• RQ5 強化学習とマルチモーダルデータ統合は、社会的ヒントからの自律的障害検出の向上にどのような役割を果たすか？

主な発見

• 周囲の人々の反応、特に顔の表情や視線といった非言語的ヒントは、多様な環境においてもロボットのタスク障害を信頼性高く、一般化可能に示す指標となる。
• 現在のHRI研究では、人々が自動的に社会的ヒントを解釈して障害を検出していることが示されており、ロボットが感情認識やコンピュータビジョンを活用することで、同様の能力を模倣できる可能性がある。
• 進展は見られるものの、ロボットの障害に対する人間の反応を捉えたラベル付きで公開可能なデータセットが極めて不足しており、モデル開発やベンチマークの実施を制限している。
• 視覚、聴覚、運動データを統合するマルチモーダルアプローチは、単一モodalシステムに比べ、より高い障害検出の可能性を示している。
• 不均衡なデータやノイズの多い現実世界のデータ環境下では、バランス精度やCohenのKappa係数といった性能指標が、モデルの評価に不可欠である。
• 強化学習は、障害が予想され頻繁に発生する環境において、ロボットが直接の相互作用から学習するための有望な道筋を提供する。

Figure 2. Number of published papers over time using search criteria for Section 3 (Theme 1). Citation Report graphic is derived from Clarivate Web of Science , Copyright Clarivate 2022. All rights reserved.