[논문 리뷰] Multi-Modal Data Fusion in Enhancing Human-Machine Interaction for Robotic Applications: A Survey

Tauheed Khan Mohd, Nicole Nguyen외 1명|arXiv (Cornell University)|2022. 02. 15.

Context-Aware Activity Recognition Systems인용 수 10

한 줄 요약

이 종합 검토는 산업 4.0 로봇 응용 분야에서 인간-기계 상호작용(HMI)을 향상시키기 위한 다중모달 데이터 융합(MMDF) 기법에 대한 포괄적인 분석을 제시한다. 음성, 제스처, 촉각 피드백 등의 모달리티를 사용하여 센서, 특징, 결정, 점수 수준에서 융합을 평가하며, 융합 시스템이 오류율을 5.2%로 낮추고 내성, 정밀도, 접근성 향상을 이끌어내는 것으로 입증된다. 특히 노인 및 기능 장애가 있는 사용자에게서 두드러진 성능 향상을 보인다.

ABSTRACT

Human-machine interaction has been around for several decades now, with new applications emerging every day. One of the major goals that remain to be achieved is designing an interaction similar to how a human interacts with another human. Therefore, there is a need to develop interactive systems that could replicate a more realistic and easier human-machine interaction. On the other hand, developers and researchers need to be aware of state-of-the-art methodologies being used to achieve this goal. We present this survey to provide researchers with state-of-the-art data fusion technologies implemented using multiple inputs to accomplish a task in the robotic application domain. Moreover, the input data modalities are broadly classified into uni-modal and multi-modal systems and their application in myriad industries, including the health care industry, which contributes to the medical industry's future development. It will help the professionals to examine patients using different modalities. The multi-modal systems are differentiated by a combination of inputs used as a single input, e.g., gestures, voice, sensor, and haptic feedback. All these inputs may or may not be fused, which provides another classification of multi-modal systems. The survey concludes with a summary of technologies in use for multi-modal systems.

연구 동기 및 목표

• 산업 4.0 로봇 응용 분야에서 다중모달 데이터 융합(MMDF) 기술의 최신 동향을 종합적으로 개괄하기 위해.
• 음성, 제스처, 센서, 촉각 피드백에 중점을 두어 단모달 및 다중모달 시스템의 분류 및 통합을 분석하기 위해.
• 특히 노인 및 기능 장애가 있는 사용자에게서 내성, 접근성, 시스템 정확도 측면에서 발생하는 주요 과제를 규명하기 위해.
• 융합 시스템과 단모달 시스템 간의 성능을 평가하여 오류율 감소 및 의사결정 향상 측면에서의 성능을 분석하기 위해.
• 실시간 융합 기능을 갖춘 비용 효율적이고 확장 가능하며 포괄적인 다중모달 로봇 시스템을 개발하기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 융합 수준에 따라 다중모달 시스템을 분류함: 센서 수준(원시 데이터), 특징 수준(추출된 특징), 결정 수준(개별 결정), 점수 수준(집계된 신뢰도 점수).
• 음성, 제스처, EMG 신호 및 주변 장치(예: 레버, 키보드)의 입력을 융합하여 시스템의 내성을 향상시키는 융합 아키텍처를 검토함.
• 다양한 모달리티의 상호보완적 강점을 활용하여 정확도를 향상시키는 지도 학습 기반 융합 모델을 분석함.
• 실세계 적용 사례로 구글 맵스(음성 + 터치) 및 볼트의 'Put That There' 시스템(제스처 + 음성)을 분석함.
• 음성, 제스처 및 제3의 모달리티(예: 레버 또는 키보드)를 융합하는 하이브리드 융합 프레임워크를 제안하여 개별 모달리티의 장애를 대비함.
• 일관되고 다양한 훈련 데이터(다양한 억양과 발화 패턴 포함)의 활용을 강조하여 AI 모델의 일반화 능력을 향상시키고 편향을 줄임.

실험 결과

연구 질문

• RQ1 다양한 융합 수준(센서, 특징, 결정, 점수)에서의 다중모달 데이터 융합이 산업용 로봇에서 인간-로봇 상호작용의 정확도와 내성에 어떻게 기여하는가?
• RQ2 노인 및 기능 장애가 있는 사용자에게서 효과적이고 접근 가능한 다중모달 로봇 시스템을 설계할 때 발생하는 주요 과제는 무엇인가?
• RQ3 실세계 로봇 제어 작업에서 음성 + 제스처 + EMG 등의 융합 모달리티가 단모달 시스템에 비해 오류율을 얼마나 감소시킬 수 있는가?
• RQ4 특히 안전이 중요한 응용 분야에서, 모호하거나 정의되지 않은 명령을 거부하고 사전 정의된 안전 명령만 수용하는 시스템은 어떻게 설계할 수 있는가?
• RQ5 사용자 인구통계학적 특성(예: 연령, 억양, 신체 능력)이 다중모달 로봇 인터페이스의 설계 및 성능에 어떤 영향을 미치는가?

주요 결과

• 실험적 구현에서 융합된 다중모달 시스템은 평균 오류율을 5.2%로 낮춰 단모달 시스템을 크게 능가함.
• 젊은 사용자들은 MYO 암밴드와 같은 EMG 기반 장치를 더 편안하게 사용하는 반면, 노인층은 제스처나 촉각 피드백보다 전통적인 키보드 입력을 선호함.
• 음성 인식 시스템은 비표준 억양과 노인의 흔들리는 목소리로 인해 심각한 과제를 겪으며, 자율 주행 시스템 등에서 치명적인 오류를 일으킬 위험이 있음.
• 내성적인 시스템은 모호하거나 사전 정의되지 않은 입력을 기각하고, 안전한 캔디드 명령만을 기반으로 작동해야 하며, 이는 자율 주행 차량이나 산업용 로봇과 같은 응용 분야에서 안전을 확보하기 위함임.
• 현재까지 산업 및 의료 현장에서 다중모달 융합과 실시간 적응 능력을 효과적으로 통합한 시스템은 발견되지 않아 주요 연구 격차로 지적됨.
• EMG 데이터를 음성 및 제스처 모달리티와 융합하는 것은 한 모달리티가 실패할 경우 시스템의 내성 향상 잠재력을 높게 보여줌.