[논문 리뷰] Visual Response to Emotional State of User Interaction

Nina Marhamati, Sena Clara Creston|arXiv (Cornell University)|2023. 03. 27.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 사용자의 정서 상태를 텍스트 및 음성 입력을 융합하여 감지하고, 계절의 정서를 반영하는 실시간 3D 시각적 반응으로 변환하는 상호작용형 AI 기반 예술 설치물 'Mood spRing'을 제시한다. BERT와 yamnet/VGGish 임베딩을 결합한 정의성 인식 결정 융합 모델을 통해 성별 편향을 최소화하고, 인식된 정서의 밸런스에 따라 동적으로 제어되는 몰입형 애니메이션을 구현한다.

ABSTRACT

This work proposes an interactive art installation "Mood spRing" designed to reflect the mood of the environment through interpretation of language and tone. Mood spRing consists of an AI program that controls an immersive 3D animation of the seasons. If the AI program perceives the language and tone of the users as pleasant, the animation progresses through idealized renditions of seasons. Otherwise, it slips into unpleasant weather and natural disasters of the season. To interpret the language and tone of the user interaction, hybrid state-of-the-art emotion detection methods are applied to the user audio and text inputs. The emotional states detected separately from tone and language are fused by a novel approach that aims at minimizing the possible model disparity across diverse demographic groups.

연구 동기 및 목표

• 사용자의 정서 상태를 동적이고 계절 테마가 반영된 3D 애니메이션으로 표현하는 상호작용형 예술 설치물 설계
• 단일 모달 정서 감지의 한계를 보완하기 위해 텍스트와 음성 입력을 융합하여 더 견고하고 신뢰할 수 있는 정서 추론을 실현하는 것
• 새로운 정의성 인식 결정 융합 메커니즘을 통해 성별 편향을 포함한 인구 통계적 편향을 줄이는 것
• 사용자가 언어와 어조의 시각적 결과를 실시간으로 경험하게 하여 정서적 자각과 공감을 증진하는 것
• 다양한 문화권과 인구 통계적 배경에 걸쳐 적용 가능한 일반화 가능한 AI-for-all 접근법을 개발하는 것

제안 방법

• 사용자 입력에서 고수준의 정서적 특징을 추출하기 위해 BERT를 활용한 전이 학습을 통한 텍스트 임베딩 및 yamnet/VGGish를 통한 음성 임베딩 적용
• 실시간 정서 감지를 위해 추출된 특징(예: MFCC, TF-IDF)에 대해 경량 분류기(SVM, KNN, Naïve Bayes)를 사용
• 베르슈타인 한계 기반의 정의성 손실 함수를 갖춘 소형 완전 연결 신경망을 사용한 새로운 결합 결정 전략을 적용하여 다양한 인구 집단 간 편향을 최소화
• 감지된 정서를 러셀의 원형모델에 매핑하여 6가지 기본 정서를 '쾌적함'과 '불쾌함' 두 클래스로 단순화하여 다문화적 일반화 가능성 확보
• 예측된 정서 밸런스와 신뢰도를 애니메이션 타이밍, 밝기, 기상 전환(예: 봄에서 폭풍으로) 등의 시각적 파rameter로 변환
• 현재는 음성과 텍스트 모odal을 중심으로 구현하고 있으나, 향후 시각 입력 융합을 위한 프레임워크 확장 가능

실험 결과

연구 질문

• RQ1 텍스트와 음성에서의 다중모달 정서 감지 방식이 상호작용형 AI 시스템에서 정서 상태 추론의 신뢰성과 견고성을 어떻게 향상시킬 수 있는가?
• RQ2 기존 앙상블 방법에 비해 정의성 인식 결정 융합 모델이 성별 및 인구 통계적 편향을 얼마나 줄일 수 있는가?
• RQ3 러셀의 원형모델 기반의 단순화된 정서 분류(쾌적함 대비 불쾌함)가 AI 기반 예술 설치물에서의 다문화 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ4 정서 상태의 실시간 시각 피드백이 인간-AI 상호작용에서 사용자의 자각 능력과 행동 패턴에 어떤 영향을 미치는가?
• RQ5 신뢰도 점수와 정서 밸런스가 반응형 예술 환경에서 몰입형 시각 애니메이션 제어에 미치는 영향은 무엇인가?

주요 결과

• 제안된 정의성 인식 결정 융합 모델은 베르슈타인 한계 기반 손실 함수 최적화를 통해 성별 편향을 성공적으로 감소시켰다.
• 텍스트와 음성 정서 감지 결과를 융합함으로써 단일 모달 접근에 비해 전체 감지 신뢰도가 향상되었으며, 특히 자원이 부족하거나 모호한 입력 환경에서 유의미한 개선을 보였다.
• 러셀의 원형모델 기반의 쾌적/불쾌함 분류 방식은 다문화 적용 가능성을 높이고 다양한 인구 통계 집단 간 모델 격차를 감소시켰다.
• 실시간 3D 애니메이션을 통한 시각 피드백은 정서 밸런스를 효과적으로 전달하였으며, 애니메이션 전환(예: 봄에서 폭풍으로)이 사용자의 어조와 언어에 대한 직관적인 비언어적 신호로 작용하였다.
• 신뢰도 수준을 시각적 파rameter(예: 밝기)에 통합함으로써 사용자가 시스템의 확신 수준을 즉각적으로 인지할 수 있었으며, 이는 참여도와 신뢰도 향상에 기여하였다.
• 경량 모델을 사용한 실시간 운영 가능성을 입증하였으며, 표준 모바일 및 데스크톱 플랫폼에서의 배포 가능성을 확보하여 광범위한 접근성 확보