[논문 리뷰] Detecting gender differences in perception of emotion in crowdsourced data

Shahan Ali Memon, Hira Dhamyal외 6명|arXiv (Cornell University)|2019. 10. 24.

Sentiment Analysis and Opinion Mining참고 문헌 43인용 수 6

한 줄 요약

이 논문은 실제 음성 데이터에서의 군중 기반 데이터를 활용하여 말하는 감정 인지에서 성별 차이를 연구하기 위한 확장 가능한 프레임워크를 제안한다. VAD 모델과 AffectButton 기반의 주석 처리를 통해 데이터 부족성과 노이즈에도 불구하고 신뢰성 있는 결과를 확보하면서도, 정황, 자극도, 지배성 차원에서 통계적으로 유의미한 성별 기반의 차이를 입증한다. 특히 지배성에서 가장 두드러진 차이를 보였다.

ABSTRACT

Do men and women perceive emotions differently? Popular convictions place women as more emotionally perceptive than men. Empirical findings, however, remain inconclusive. Most prior studies focus on visual modalities. In addition, almost all of the studies are limited to experiments within controlled environments. Generalizability and scalability of these studies has not been sufficiently established. In this paper, we study the differences in perception of emotion between genders from speech data in the wild, annotated through crowdsourcing. While we limit ourselves to a single modality (i.e. speech), our framework is applicable to studies of emotion perception from all such loosely annotated data in general. Our paper addresses multiple serious challenges related to making statistically viable conclusions from crowdsourced data. Overall, the contributions of this paper are two fold: a reliable novel framework for perceptual studies from crowdsourced data; and the demonstration of statistically significant differences in speech-based emotion perception between genders.

연구 동기 및 목표

• 남성과 여성 간에 말의 감정을 다르게 인지하는지 조사하여, 여성은 더 감정적으로 민감하다는 일반적인 편견에 도전한다.
• 이질적인 주석 처리와 실제 세계(실제 환경)의 음성 데이터를 활용한 인지 연구를 위한 확장 가능하고 통계적으로 신뢰할 수 있는 프레임워크를 개발한다.
• 군중 기반 데이터에서 발생하는 노이즈, 부족함, 통제 불능성 등의 과제를 해결하면서도 통계적 타당성을 유지한다.
• 정황, 자극도, 지배성과 같은 다수의 감정 차원에서 성별 기반의 감정 인지 차이에 대한 가설을 검증한다.
• 향후 영향 컴퓨팅 및 감정 인지 분야의 연구를 지원하기 위해 수집된 데이터와 방법론을 공개한다.

제안 방법

• 생태학적 타당성과 감정 표현의 다양성을 확보하기 위해 실제 환경에서 통제되지 않은 환경에서 음성 샘플을 수집한다.
• 감정을 연속적인 3차원 스케일로 표현하기 위해 VAD(정서성, 자극도, 지배성) 모델을 사용하여 이산적인 감정 레이블을 넘어서 세밀한 분석을 가능하게 한다.
• 군중 작업자들이 효율적이고 신뢰성 있게 감정 주석을 처리할 수 있도록 성별 중립적이고 동적 얼굴 표정 도구인 AffectButton 인터페이스를 활용한다.
• 희소하고 노이즈가 많은 군중 기반 주석 처리를 다루기 위해 재표본화 방법과 통계적 가설 검정을 적용하여 강력한 추론을 확보한다.
• 데이터 필터링 및 품질 제어를 통해 평가자가 '양심적인 의도'를 가지고 일반 인구를 대표하도록 하여 편향을 줄인다.
• 데이터의 계층적 구조를 기반으로 한 구조화된 검정 통계량을 사용하여 남성과 여성 평가자 간의 인지 차이를 비교한다.

실험 결과

연구 질문

• RQ1 남성과 여성은 말의 감정 인지에서 차이를 보이나, 특히 VAD 차원에서 그렇다면 어떻게 되는가?
• RQ2 화자 성별이 남성 및 여성 평가자의 인지에 영향을 미치는가?
• RQ3 노이즈, 희소성, 통제 불능성 등이 있는 군중 기반 데이터에서 신뢰할 수 있는 결론을 이끌어내기 위한 통계적으로 타당한 프레임워크를 개발할 수 있는가?
• RQ4 감정의 세 가지 차원(정서성, 자극도, 지배성)에서 성별 기반의 감정 인지 차이가 어느 정도로 다양하게 나타나는가?
• RQ5 AffectButton과 VAD 모델을 어떻게 효과적으로 활용하여 대규모 실생활 연구에서 감정 주석 품질을 향상시킬 수 있는가?

주요 결과

• 모든 세 가지 VAD 차원에서 통계적으로 유의미한 성별 기반의 감정 인지 차이가 발견되었으며, 특히 지배성 차원에서 가장 두드러진 차이를 보였다.
• 여성 평가자들은 화자 성별과 감정 내용을 통제한 상태에서도 항상 감정이 더 지배적인 것으로 인지했다.
• 화자 성별은 남성 또는 여성 평가자의 인지 평가에 유의미한 영향을 주지 않았으며, 이는 화자 성별 인지에 대한 편향이 없음을 시사한다.
• 제안된 프레임워크는 군중 기반 데이터의 노이즈와 희소성을 효과적으로 완화하여 재표본화 및 구조화된 통계 모델링을 통해 신뢰할 수 있는 가설 검정을 가능하게 했다.
• AffectButton과 VAD 모델을 효과적으로 활용함으로써 대규모 실생활 감정 인지 연구가 가능하고 유의미한 결과를 도출할 수 있음을 입증했다.
• 데이터셋과 방법론은 향후 영향 컴퓨팅 및 감정 인지 분야의 연구를 지원하기 위해 공개되었다.