[論文レビュー] I can attend a meeting too! Towards a human-like telepresence avatar robot to attend meeting on your behalf

Hrishav Bakul Barua, Chayan Sarkar+3 more|arXiv (Cornell University)|Jun 28, 2020

Speech and Audio Processing参考文献 13被引用数 4

ひとこと要約

本論文では、音声・視覚的認識を用いて発話者を特定し、自然に注目を移動させることで、遠隔ユーザーの代わりに会議に自律的に参加する人間らしいテレプレゼンスロボットを提案する。時間差到達（TDOA）を用いた音源定位と顔および口元の動き検出を組み合わせることで、リアルタイムで文脈に応じたロボットの回転が可能となり、グループ会議におけるユーザーの帰属意識と満足度が向上する。

ABSTRACT

Telepresence robots are used in various forms in various use-cases that helps to avoid physical human presence at the scene of action. In this work, we focus on a telepresence robot that can be used to attend a meeting remotely with a group of people. Unlike a one-to-one meeting, participants in a group meeting can be located at a different part of the room, especially in an informal setup. As a result, all of them may not be at the viewing angle of the robot, a.k.a. the remote participant. In such a case, to provide a better meeting experience, the robot should localize the speaker and bring the speaker at the center of the viewing angle. Though sound source localization can easily be done using a microphone-array, bringing the speaker or set of speakers at the viewing angle is not a trivial task. First of all, the robot should react only to a human voice, but not to the random noises. Secondly, if there are multiple speakers, to whom the robot should face or should it rotate continuously with every new speaker? Lastly, most robotic platforms are resource-constrained and to achieve a real-time response, i.e., avoiding network delay, all the algorithms should be implemented within the robot itself. This article presents a study and implementation of an attention shifting scheme in a telepresence meeting scenario which best suits the needs and expectations of the collocated and remote attendees. We define a policy to decide when a robot should rotate and how much based on real-time speaker localization. Using user satisfaction study, we show the efficacy and usability of our system in the meeting scenario. Moreover, our system can be easily adapted to other scenarios where multiple people are located.

研究の動機と目的

• 遠隔ユーザーの代わりに最小限の手動操作でグループ会議に自律的に参加できるテレプレゼンスロボットを実現すること。
• 複数発話者環境において、ロボットが現在の発話者を特定し、注目を適切に移動させるという動的な注目シフトの課題に対処すること。
• 人間らしい注目行動を通じて、遠隔および同席中の参加者双方の帰属意識と社会的臨場感を向上させること。
• TurtleBot2のようなリソース制限のあるロボットプラットフォームに適したリアルタイムでオンデバイスに実装可能なシステムを設計すること。
• 参加者数が異なる実際の会議シナリオにおいて、システムの使いやすさとユーザー満足度を評価すること。

提案手法

• リアルタイム音源定位（SSL）のため、Raspberry Pi搭載のマイクロホンアレイを用いた時間差到達（TDOA）を採用する。
• 視覚的注目を確認・精緻化するため、顔検出と口元の動き検出を統合する。
• 複数人環境における発話者間の注目移動を管理するため、ロボットの状態表現モデルを採用する。
• 発話者活動とグループのダイナミクスに基づき、いつ、どの程度ロボットを回転させるかを決定するための意思決定ルールを適用する。
• ネットワーク遅延を最小限に抑えるために、TurtleBot2プラットフォームにすべてのシステムをオンボード処理で実装し、リアルタイム応答性を確保する。
• 座席配置の会議状況における顔検出を最適化するため、調整可能なカメラマウントを採用する。

実験結果

リサーチクエスチョン

• RQ1 動的なグループ会議環境において、テレプレゼンスロボットがどのようにして自律的に現在の発話者を検出・注目することができるか？
• RQ2 複数発話者会議において、反応性、正確性、人間らしい行動のバランスを最良に保つ注目シフト戦略は何か？
• RQ3 ロボットの自律的行動が、遠隔および同席中の参加者の帰属意識と満足度をどの程度向上させるか？
• RQ4 実世界の会議シナリオにおいて、注目精度と不必要な回転の度合いはどの程度の性能を示すか？
• RQ5 提案された音声・視覚的認識と状態モデルは、リソース制限のあるロボットプラットフォームにおいてリアルタイムで効果的に実装可能か？

主な発見

• ユーザー満足度は高く、遠隔および同席参加者の両方が、システムの帰属意識を平均7／10で評価した。
• 不要な回転と必要な回転の漏れを効果的に低減し、注目移動の誤差率が低いという評価指標が得られた。
• 発話者検出の正確性は高く、特に1対1および小規模グループ環境では、ほとんどすべてのケースで発話者を正しく特定した。
• 2人以上のグループでは注目精度が一貫して高く、ほとんどの会話でロボットが活発な発話者に正しく注目した。
• 音声・視覚的認識システムにより、遠隔ユーザーの操作なしに、発話者間で自然に注目を移動させ、視線を保つ人間らしい振る舞いが可能になった。
• ユーザーのフィードバックから、特に多人数会議において、ロボットが遠隔参加者の個人的な臨場感と社会的包摂感を高めていることが確認された。