[論文レビュー] Multi-Modal Data Fusion in Enhancing Human-Machine Interaction for Robotic Applications: A Survey

Tauheed Khan Mohd, Nicole Nguyen+1 more|arXiv (Cornell University)|Feb 15, 2022

Context-Aware Activity Recognition Systems被引用数 10

ひとこと要約

本調査は、インダストリー4.0におけるロボット応用のための人間-マシンインタラクション（HMI）を強化するためのマルチモーダルデータ統合（MMDF）技術について包括的な分析を提示する。音声、ジェスチャー、ハプティクスフィードバックなどのモダリティを用い、センサーレベル、特徴量レベル、意思決定レベル、スコアレベルでの統合を評価し、統合システムが誤り率を5.2％まで低減させ、耐障害性、正確性、アクセシビリティを向上させることを示している。特に高齢者や障がいを有するユーザーにおいて顕著な効果を示している。

ABSTRACT

Human-machine interaction has been around for several decades now, with new applications emerging every day. One of the major goals that remain to be achieved is designing an interaction similar to how a human interacts with another human. Therefore, there is a need to develop interactive systems that could replicate a more realistic and easier human-machine interaction. On the other hand, developers and researchers need to be aware of state-of-the-art methodologies being used to achieve this goal. We present this survey to provide researchers with state-of-the-art data fusion technologies implemented using multiple inputs to accomplish a task in the robotic application domain. Moreover, the input data modalities are broadly classified into uni-modal and multi-modal systems and their application in myriad industries, including the health care industry, which contributes to the medical industry's future development. It will help the professionals to examine patients using different modalities. The multi-modal systems are differentiated by a combination of inputs used as a single input, e.g., gestures, voice, sensor, and haptic feedback. All these inputs may or may not be fused, which provides another classification of multi-modal systems. The survey concludes with a summary of technologies in use for multi-modal systems.

研究の動機と目的

• インダストリー4.0のロボット応用におけるマルチモーダルデータ統合（MMDF）技術の最新動向を包括的に概説すること。
• 音声、ジェスチャー、センサ、ハプティクスフィードバックに焦点を当て、単一モダリティおよびマルチモダリティシステムの分類と統合を分析すること。
• 高齢者や障がいを有するユーザーにとって特に重要な耐障害性、ユーザーのアクセシビリティ、システムの正確性に関する主な課題を特定すること。
• 統合システムと単一モダリティシステムの性能を比較し、誤り率の低減および意思決定の向上に与える影響を評価すること。
• リアルタイム統合機能を備えたコスト効果的でスケーラブルかつ包括的なマルチモーダルロボットシステムの開発に向けた今後の研究方向性を提案すること。

提案手法

• 統合レベル（センサーレベル：生データ、特徴量レベル：抽出された特徴、意思決定レベル：個々の意思決定、スコアレベル：集約された信頼度スコア）に基づいてマルチモーダルシステムを分類する。
• 音声、ジェスチャー、EMG信号、周辺デバイス（例：レバー、キーボード）からの入力を統合することで、システムの耐障害性を向上させる統合アーキテクチャをレビューする。
• 複数のモダリティの相補的な強みを活用することで正確性を向上させる、教師あり学習に基づく統合モデルを分析する。
• Googleマップ（音声＋タッチ）やBoltの「Put That There」システム（ジェスチャー＋音声）を事例として、実世界での実装を評価する。
• 音声、ジェスチャー、および第3のモダリティ（例：レバーまたはキーボード）を統合したハイブリッド統合フレームワークを提案し、個々のモダリティの故障に備える。
• 多様でバランスの取れたトレーニングデータ（多様なアクセントや発話パターンを含む）の使用を強調し、AIモデルの一般化能力を高め、バイアスを低減すること。

実験結果

リサーチクエスチョン

• RQ1 センサーレベル、特徴量レベル、意思決定レベル、スコアレベルといった異なる統合レベルでのマルチモーダルデータ統合が、産業用ロボットにおける人間-ロボットインタラクションの正確性と耐障害性をどの程度向上させるか？
• RQ2 高齢者や障がいを有するユーザーにとってもアクセシブルで効果的なマルチモーダルロボットシステムを設計するにあたり、主な課題は何か？
• RQ3 実世界のロボット制御タスクにおいて、音声＋ジェスチャー＋EMGといった統合モダリティは、単一モダリティシステムと比較してどの程度誤り率を低減できるか？
• RQ4 安全上の重要な応用分野（例：自動運転車両や産業用ロボット）において、曖昧または定義されていない入力を排除し、事前に定義された安全なコマンドのみを受け入れるようなシステム設計はどのように実現できるか？
• RQ5 ユーザーのデモグラフィック要因（例：年齢、アクセント、身体的能力）は、マルチモーダルロボットインターフェースの設計と性能にどのような影響を及えるか？

主な発見

• 実験的実装において、統合されたマルチモーダルシステムは平均誤り率を5.2％まで低減させ、単一モダリティシステムを著しく上回った。
• 若年層のユーザーはMYOアームバンドのようなEMGベースのデバイスに対して高い快適性を示したが、高齢者層はジェスチャーまたはハプティクスよりも伝統的なキーボード入力を好んだ。
• 音声認識システムは、高齢者の非標準的なアクセントや不規則な声の変動により深刻な課題に直面し、自律システムでは致命的な誤りを引き起こすリスクがある。
• 耐障害性の高いシステムは、曖昧または事前に定義されていない入力を破棄し、安全なコマンドのセット（canned commands）に依存する必要がある。これは、ドライバーレス車両や産業用ロボットなどの応用分野で安全性を確保する上で不可欠である。
• 産業および医療分野の現場において、マルチモーダル統合とリアルタイム適応性を効率的に統合する既存のシステムは存在しなかった。これは、主要な研究ギャップを示している。
• EMGデータを音声およびジェスチャーのモダリティと統合することは、1つのモダリティが故障した場合のシステムのレジリエンス向上に強く期待できる。