[논문 리뷰] Affective Faces for Goal-Driven Dyadic Communication

Scott Geng, Revant Teotia외 3명|arXiv (Cornell University)|2023. 01. 26.

Subtitles and Audiovisual MediaArts and Humanities인용 수 3

한 줄 요약

이 논문은 대화의 발화자 음성과 听화자의 목표 또는 성격을 조건으로 하여 대화자 간의 이인관계 대화에서 청취자가 사회적으로 적절한 표정을 생성하기 위해 대규모 언어 모델(Large Language Models, LLMs)과 시각-언어 모델(Vision-Language Models, VLMs)을 활용하는 프레임워크를 제안한다. 인간 평가와 새로운 비스시프트, 다양한 대화 데이터셋을 통해 검증된 결과, 기존의 기준 모델 대비 사회적 적절성에서 뚜렷한 향상을 이룩하였다.

ABSTRACT

We introduce a video framework for modeling the association between verbal and non-verbal communication during dyadic conversation. Given the input speech of a speaker, our approach retrieves a video of a listener, who has facial expressions that would be socially appropriate given the context. Our approach further allows the listener to be conditioned on their own goals, personalities, or backgrounds. Our approach models conversations through a composition of large language models and vision-language models, creating internal representations that are interpretable and controllable. To study multimodal communication, we propose a new video dataset of unscripted conversations covering diverse topics and demographics. Experiments and visualizations show our approach is able to output listeners that are significantly more socially appropriate than baselines. However, many challenges remain, and we release our dataset publicly to spur further progress. See our website for video results, data, and code: https://realtalk.cs.columbia.edu.

연구 동기 및 목표

• 이인관계 대화에서 언어적 및 비언어적 의사소통의 상호작용을 동적으로 모델링하고, 특히 발화에 대한 청취자의 표정 반응을 분석한다.
• 청취자의 목표, 성격, 배경과 같은 청취자 특화 요소를 조건으로 하여 청취자 행동을 제어할 수 있도록 한다.
• 이전의 영상 생성 방법이 저수준의 청각 또는 시각적 특징에만 집중하여 고수준의 의미적 추론가 부족한 문제를 해결한다.
• 다양하고 비스시프트된 이면적 대화를 포함한 새로운 영상 데이터셋을 구축하여 다모달, 목표 기반 사회적 상호작용 모델링 연구를 지원한다.
• LLMs가 사회적 맥락을 효과적으로 추론하여 시각 기반의 사회적으로 적절한 표정 생성을 이끌 수 있음을 입증한다.

제안 방법

• 프레임워크는 대규모 언어 모델(GPT-3 등)을 활용하여 발화자의 대본을 해석하고, 청취자 특화 조건(예: 관계 목표, 성격 등)에 기반해 적절한 시각적 특징을 추론한다.
• 이러한 추론된 시각적 특징을 바탕으로 CLIP와 같은 VLM 기반 영상 검색 시스템에서 해당 표정에 해당하는 영상 클립을 검색한다.
• 이 방법은 발화자의 말 내용과 청취자의 목표를 모두 조건으로 하여, 표정에 대한 명시적 지도 없이도 감정 반응을 제어할 수 있다.
• LLMs의 소수 샘플 프롬프팅을 활용하여 다양한 사회적 맥락에서 일반화하고 사회적으로 적절한 반응을 추론한다.
• 청취자 영상 생성을 검색 작업으로 간주하며, 시각-언어 모델의 임베딩을 활용해 예측된 특징과 실제 영상 클립을 매칭한다.
• 시간적 동역학은 명시적으로 모델링되지 않으며, 이론적으로 关건 프레임 수준의 표현에서 작동하므로 예측 시점에 시간 오차가 발생할 수 있다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 대화의 사회적 맥락을 효과적으로 추론하여 청취자의 사회적으로 적절한 표정을 예측할 수 있는가?
• RQ2 청취자의 목표나 성격에 따라 조건을 주었을 때, 생성된 표정의 사회적 적절성이 어떻게 향상되는가?
• RQ3 LLM이 생성한 특징에 기반해 시각-언어 모델이 사회적으로 적절한 청취자 영상 클립을 얼마나 잘 검색할 수 있는가?
• RQ4 제안된 방법은 인간의 사회적 기대에 부합하는 표정을 생성하는 데서 기존 기준 모델보다 어떻게 뛰어나게 되는가?
• RQ5 이 프레임워크의 주요 실패 유형은 무엇이며, 이는 누락된 모odal 또는 시간적 오차와 어떻게 관련이 있는가?

주요 결과

• 제안된 방법은 인간 평가를 통해 Learning2Listen과 같은 기준 모델에 비해 사회적으로 적절한 청취자 표정 생성에서 뚜렷한 우월성을 보였다.
• 인간 평가자들은 시스템의 예측한 '사회적으로 올바른' 청취자 표정을 기존의 '사회적으로 잘못된' 예측 및 Learning2Listen 기준 모델보다 통계적으로 유의미하게 선호했다.
• 이 프레임워크는 성격 특성이나 관계 역학과 같은 오픈 월드 청취자 목표에 잘 일반화되어 있으며, 다양한 상황에서 적절한 반응을 올바르게 추론한다.
• 실패 케이스의 주요 원인은 다중 모odal 발화자 맥락(예: 얼굴 표정 또는 억양)의 부재로 인한 톤이나 의도의 오해이다.
• 시간적 오차는 주요 제약 요소로, 예를 들어 핵심 문장 이전에 미리 웃는 등의 상황에서 예측된 청취자 표정이 시간적으로 맞지 않는 경우가 발생한다.
• 언어 모델의 환각 현상(특히 은유나 모호한 표현에서 발생)으로 인해 발화자의 의도를 잘못 추론하여 부적절한 청취자 반응이 유도된다.