[논문 리뷰] A Multimodal Emotion Sensing Platform for Building Emotion-Aware Applications

Daniel McDuff, Kael Rowan외 4명|arXiv (Cornell University)|2019. 03. 28.

Emotion and Mood Recognition인용 수 10

한 줄 요약

이 논문은 웹캠과 마이크와 같은 일반적인 센서에서 유저의 감정을 실시간으로 감지할 수 있는 다중모달 감정 감지 플랫폼을 제시한다. 이 플랫폼은 영상, 음성, 애플리케이션 사용 데이터를 통합하여 감정 인식 기반 컴퓨팅을 가능하게 한다. 시스템은 현장 또는 클라우드에서 얼굴 표정, 음성 활동, 음성, 정서 분석 및 맥락 정보 메타데이터를 처리하며, 데이터는 안전하게 저장되고 서비스 버스를 통해 브로드캐스트되어 핵심 감지 컴포넌트를 다시 구현하지 않고도 확장 가능한 애플리케이션 개발을 가능하게 한다.

ABSTRACT

Humans use a host of signals to infer the emotional state of others. In general, computer systems that leverage signals from multiple modalities will be more robust and accurate in the same task. We present a multimodal affect and context sensing platform. The system is composed of video, audio and application analysis pipelines that leverage ubiquitous sensors (camera and microphone) to log and broadcast emotion data in real-time. The platform is designed to enable easy prototyping of novel computer interfaces that sense, respond and adapt to human emotion. This paper describes the different audio, visual and application processing components and explains how the data is stored and/or broadcast for other applications to consume. We hope that this platform helps advance the state-of-the-art in affective computing by enabling development of novel human-computer interfaces.

연구 동기 및 목표

• 컴퓨터 비전, 음성 처리, NLP 분야에서의 높은 전문성과 엔지니어링 노력이 요구되는 감정 인식 기반 시스템을 구축하는 데 도전하는 것.
• 감정 감지 컴포넌트의 중복 개발을 줄이기 위해 재사용 가능하고 확장 가능한 감정 감지 플랫폼을 제공하는 것.
• 최소한의 개인식별정보(PII) 전송으로 실시간이며 개인정보 보호 기반 감정 감지 기능을 현장 처리 또는 클라우드 스트리밍을 통해 제공하는 것.
• 표준화된 브로드캐스트 가능한 감정 및 맥락 데이터를 제공함으로써 새로운 인간-컴퓨터 인터페이스 개발을 지원하는 것.
• 일관된 감지 파이프라인을 통해 다양한 애플리케이션 및 연구에 적용함으로써 비교 연구 및 메타 분석을 촉진하는 것.

제안 방법

• 플랫폼은 영상 입력에서 얼굴 감지, 얼굴 랜드마크 추적, 표정 분석, 자세 추정을 위한 실시간 파이프라인을 사용한다.
• 음성 처리에는 음성 활동 감지, 음성 인식, 감정 분석이 포함되며, 다중 도메인 텍스트 코퍼스로 훈련된 로지스틱 회귀 모델을 사용한다.
• 애플리케이션 로깅은 창 상태(최소화, 최대화, 포커스)와 애플리케이션 이름을 기록하여 행동적 맥락을 제공한다.
• 이메일 로깅은 상호 정보 특성 선택을 거쳐 1,200개의 선택된 특성과 함께 유니그램, 바이그램 기반 감정 강도 분류기를 사용해 감정 강도를 추출한다.
• 캘린더 로깅은 지속 시간, 시작 시간, 참석자 수, 미팅 유형(대면 또는 가상)과 같은 이벤트 메타데이터를 기록한다.
• 데이터는 안전한 클라우드 데이터베이스에 1초 간격으로 집계해 저장하거나, 안전한 서비스 버스를 통해 실시간 소비를 위한 브로드캐스트한다.

실험 결과

연구 질문

• RQ1 다중모달 입력을 활용한 감정 인식 기반 애플리케이션 개발을 단순화하기 위해 통합적이고 확장 가능한 플랫폼이 어떻게 기여할 수 있는가?
• RQ2 감정 감지에서 현장 처리와 클라우드 기반 처리 간의 사생활 보호, 지연, 계산 효율성 측면에서 발생하는 상충 관계는 무엇인가?
• RQ3 표준화된 감정 감지 컴포넌트의 사용이 감정 인식 기반 시스템 연구 간 재현성과 비교 가능성에 얼마나 기여할 수 있는가?
• RQ4 애플리케이션 사용, 이메일, 캘린더에서 유도된 맥락 데이터는 감정 인식의 정확성과 관련성에 어떻게 기여할 수 있는가?
• RQ5 지속적인 사용자 행동 및 정서 신호 모니터링 시 사생활 보호를 확보하기 위해 필요한 기술적 및 윤리적 보안 조치는 무엇인가?

주요 결과

• 플랫폼은 표준 장치 센서(웹캠 및 마이크)만을 사용하여 실시간 다중모달 감정 감지 기능을 성공적으로 제공하며, 전용 하드웨어가 필요 없음을 입증했다.
• 데이터를 현장에서 처리함으로써 개인식별정보(PII)의 전송을 최소화하여 사용자 프라이버시를 향상시켰다.
• 기기 내 및 클라우드 배포를 모두 지원하여 계산 능력과 연결성 요구 사항이 다른 애플리케이션에 대한 유연성을 제공했다.
• 보안 서비스 버스를 사용함으로써 외부 애플리케이션은 감지 파이프라인에 직접 통합되지 않더라도 감정 및 맥락 데이터를 소비할 수 있었다.
• 플랫폼은 프로토타입 애플리케이션 개발에 활용되었으며, 다양한 용도에 걸쳐 확장성과 재사용 가능성을 입증했다.
• 원본 오디오, 영상, 이메일 내용, 개인식별 데이터는 저장되지 않았으며, 모든 데이터 수집은 사용자 동의 기반의 선택적(opt-in) 방식으로 이루어졌다.