[논문 리뷰] Engagement Detection in Meetings

Maria Frank, Ghassem Tofighi외 2명|arXiv (Cornell University)|2016. 08. 31.

Personal Information Management and User Behavior참고 문헌 9인용 수 9

한 줄 요약

이 논문은 2D/3D 영상, 음성 및 동작 데이터를 활용하여 그룹 미팅에서 실시간으로 참여자의 참여도를 탐지하기 위한 다중모달 프레임워크를 제안한다. 참가자를 여섯 가지 참여 상태로 분류하며, 행동 및 인지적 신호를 기반으로 한다. 시스템은 행동의 의도를 분류하는 데 83.36%의 정확도를 달성하여, 더 나은 미팅 생산성과 참가자 인식 향상을 위한 동적 피드백을 가능하게 한다.

ABSTRACT

Group meetings are frequent business events aimed to develop and conduct project work, such as Big Room design and construction project meetings. To be effective in these meetings, participants need to have an engaged mental state. The mental state of participants however, is hidden from other participants, and thereby difficult to evaluate. Mental state is understood as an inner process of thinking and feeling, that is formed of a conglomerate of mental representations and propositional attitudes. There is a need to create transparency of these hidden states to understand, evaluate and influence them. Facilitators need to evaluate the meeting situation and adjust for higher engagement and productivity. This paper presents a framework that defines a spectrum of engagement states and an array of classifiers aimed to detect the engagement state of participants in real time. The Engagement Framework integrates multi-modal information from 2D and 3D imaging and sound. Engagement is detected and evaluated at participants and aggregated at group level. We use empirical data collected at the lab of Konica Minolta, Inc. to test initial applications of this framework. The paper presents examples of the tested engagement classifiers, which are based on research in psychology, communication, and human computer interaction. Their accuracy is illustrated in dyadic interaction for engagement detection. In closing we discuss the potential extension to complex group collaboration settings and future feedback implementations.

연구 동기 및 목표

• 그룹 미팅에서의 참여도 상태를 실시간으로 탐지하고 분류하여 협업과 생산성을 향상시키기 위한 프레임워크를 개발한다.
• 특히 참여도와 행동의 의도를 포함한 숨겨진 정서 상태의 투명성을 제공하여, 미팅 진행자를 보다 효과적으로 미팅 분위기를 조정하는 데 기여한다.
• 기존의 신체 동작 외에도 자세, 표정, 음성 등의 다중모달 입력을 통합하여 eRing 프로토타입을 확장한다.
• 개인 및 그룹 수준의 피드백 메커니즘을 통해 참여도가 낮아진 참가자를 재진입시키거나 미팅 초점을 전환할 수 있도록 한다.
• 빅 룸 디자인 미팅과 같은 복잡한 협업 환경에서 확장 가능한 센서 기반의 참여도 모니터링 기반을 마련한다.

제안 방법

• 참가자의 참여도를 청취, 관찰, 발언, 행동, 행동의 의도, 이완의 여섯 가지 상태로 분류하며, 행동 및 인지적 신호를 기반으로 한다.
• 2D/3D 카메라, 음성 및 동작 센서에서 유입되는 다중모달 데이터 스트림을 실시간으로 처리하여 손의 속도, 자세, 표정 등의 특징을 추출한다.
• 참여도 상태를 분류하기 위해 서포트 벡터 머신(SVM)을 사용하며, 프레임 처리 시간이 10ms 이내로 유지되어 30fps에서 실시간 운영이 가능하다.
• 참가자 간 잠재적 참여 수준과 실내 물체 간의 관계를 추적하기 위해 동적 참여도 테이블을 사용하며, 의도 기반 상호작용을 지원한다.
• 분류기는 모듈식이며 확장 가능하여 향후 음성 및 생체정보 데이터와 같은 추가 모odalities의 통합이 가능하다.
• 초기 구현은 이원 관계 상호작용에 국한되며, 콘카 미놀타 연구소의 실증 데이터를 활용해 분류기를 훈련 및 검증한다.

실험 결과

연구 질문

• RQ1 다중모달 센서 데이터를 활용하여 그룹 미팅에서의 참여도를 효과적으로 탐지하고 분류할 수 있는가?
• RQ2 협업 환경에서 참여도와 행동의 의도를 가장 신뢰성 있게 나타내는 행동 및 인지적 지표는 무엇인가?
• RQ3 실시간 참여도 분류가 피드백 메커니즘을 통해 미팅 분위기와 참가자의 생산성을 향상시킬 수 있는가?
• RQ4 제안된 다중모달 분류 시스템은 실시간으로 참여도 상태를 탐지하는 데 얼마나 정확하고 효율적인가?
• RQ5 빅 룸 프로젝트 미팅과 같은 복잡한 환경에서 자동 참여도 피드백이 미팅 진행자와 팀 협업에 미치는 영향은 무엇인가?

주요 결과

• 행동의 의도 상태를 탐지하는 데 참여도 분류기가 83.36%의 정확도를 달성하였다.
• 프레임 처리 시간이 10ms 이내로 유지되어 30fps에서 실시간 구현 가능성이 확인되었다.
• 시스템은 개인 및 그룹 수준에서 참여도 상태를 성공적으로 탐지하고 집계하여 동적 피드백을 가능하게 하였다.
• 참가자 중 40% 이상이 이완 상태일 경우, 공개 알림('그룹이 이완 상태입니다')이나 eRing과 같은 시각적 신호를 트리거할 수 있다.
• 모듈식 설계 덕분에 향후 음성, 표정, 생체정보 데이터 등의 추가 모달리티 통합으로 정확도 향상이 가능하다.
• 프레임워크는 운영 의도 피드백을 지원하여 스마트 룸 내 반응형 물체가 어느 사용자가 어떤 물체와 상호작용하고자 하는지 방향성 자세와 참여도 수준을 기반으로 식별할 수 있다.