[論文レビュー] Human-Robot Commensality: Bite Timing Prediction for Robot-Assisted Feeding in Groups

Jan Ondras, Abrar Anwar+5 more|arXiv (Cornell University)|Jul 7, 2022

Social Robot Interaction and HRI被引用数 4

ひとこと要約

本論文では、人間同士の社会的シグナルを分析することで、グループでの食事状況におけるロボット支援給餌の社会的に適切な噛みタイミングを予測するマルチモーダル深層学習モデルSoNNETを提案する。30組の三者食事の新しい人間同士共食行動データセット（HHCD）を用い、音声、映像、注視信号を統合することで最適な給餌タイミングを推定し、ユーザースタディーにおいて手動または固定間隔のトリガーに比べ、社会的統合性とユーザーライクニスが顕著に向上した。

ABSTRACT

We develop data-driven models to predict when a robot should feed during social dining scenarios. Being able to eat independently with friends and family is considered one of the most memorable and important activities for people with mobility limitations. While existing robotic systems for feeding people with mobility limitations focus on solitary dining, commensality, the act of eating together, is often the practice of choice. Sharing meals with others introduces the problem of socially appropriate bite timing for a robot, i.e. the appropriate timing for the robot to feed without disrupting the social dynamics of a shared meal. Our key insight is that bite timing strategies that take into account the delicate balance of social cues can lead to seamless interactions during robot-assisted feeding in a social dining scenario. We approach this problem by collecting a Human-Human Commensality Dataset (HHCD) containing 30 groups of three people eating together. We use this dataset to analyze human-human commensality behaviors and develop bite timing prediction models in social dining scenarios. We also transfer these models to human-robot commensality scenarios. Our user studies show that prediction improves when our algorithm uses multimodal social signaling cues between diners to model bite timing. The HHCD dataset, videos of user studies, and code are available at https://emprise.cs.cornell.edu/hrcom/

研究の動機と目的

• 特にグループでの食事状況において、社会的に配慮された噛みタイミングの欠如に対処すること。
• 会話の流れを乱さずに、ロボットがいつユーザーに給餌を行うかをデータ駆動型で予測するモデルの開発。
• 人間同士の共食行動から学んだ噛みタイミング戦略を、人間-ロボット共食状況に効果的に転送すること。
• 支援ロボットを用いた現実世界の三者グループスタディにおいて、モデルの性能と社会的受容性を評価すること。

提案手法

• 30組の参加者からなる三者グループの食事行動を記録した、マルチビューアイリムズRGBD映像と指向性音声を含む人間同士共食行動データセット（HHCD）を収集した。
• 注視、会話、顔の表情、ジェスチャーといったマルチモーダル信号を6秒間の時間窓内で統合する、社会的齧り行動ネットワーク（SoNNET）を開発した。
• グループでの食事における自然な社会的リズムと調整パターンを学ぶために、人間同士の相互作用のデータでモデルを学習した。
• 学習済みのSoNNETモデルを人間-ロボット給餌状況に転移し、物理的ロボットに実装してリアルタイムの噛みタイミング意思決定を実現した。
• ベースラインとして口を開けた検出をトリガーとした手法を用い、ユーザースタディーで手動および固定間隔のトリガーと性能を比較した。
• 社会的受容性、会話の流れ、ユーザーライクニスを評価するために、10組の三者グループを用いたユーザースタディーを実施した。

実験結果

リサーチクエスチョン

• RQ1 会話やグループのダイナミクスを乱さずに、ロボットは共食状況でどのように社会的に適切な噛みタイミングを推定できるか？
• RQ2 グループでの食事状況において、人間の噛みタイミングを最も効果的に予測するマルチモーダルな社会的シグナルは何か？
• RQ3 人間同士の相互作用から学んだ噛みタイミング戦略を、人間-ロボット給餌状況に効果的に転送できるか？
• RQ4 モデルベースの噛みタイミングは、手動または固定間隔のトリガーに比べ、社会的受容性とユーザーエクスペリエンスにおいてどのように異なるか？
• RQ5 食事環境における要因（例：ロボットの位置、音声プロンプト、動き）の中で、どれが社会的干渉と感じられるかに最も影響を与えるか？

主な発見

• ユーザースタディーにおいて、SoNNETモデルは手動および固定間隔のトリガーを顕著に上回り、参加者からはより自然で干渉が少ないとの評価を受けた。
• 注視、会話の途切れ、顔の表情といったマルチモーダルな社会的シグナルが、噛みタイミング予測の精度を向上させ、より滑らかな社会的相互作用に貢献した。
• 70％のロボット利用者が、口を開けた検出時に発生する音声プロンプトを不快に感じ、静かで文脈に適ったプロンプト機構の必要性を示唆した。
• 同席者たちは、ロボットの動きや音声の干渉が会話の流れを乱すと報告したが、特にタイミングがずれている場合や視線が遮られた場合に顕著だった。
• 干渉が生じても、70％の利用者および同席者が、SoNNETが使用された際、会話を著しく妨害しないと報告し、多くの人がロボットを「クールな第四の食事仲間」と表現した。
• 本研究で得られたデータセットとコードは、https://emprise.cs.cornell.edu/hrcom/ にて公開されており、今後の社会的配慮のあるロボット給餌分野の研究を促進する。