[論文レビュー] Detecting gender differences in perception of emotion in crowdsourced data

Shahan Ali Memon, Hira Dhamyal+6 more|arXiv (Cornell University)|Oct 24, 2019

Sentiment Analysis and Opinion Mining参考文献 43被引用数 6

ひとこと要約

本論文は、実世界の音声データからクラウドソーシングされたデータを用いて、発話に基づく感情認識における性別差をスケーラブルに研究するフレームワークを提案する。VADモデルとAffectButtonに基づくアノテーションを用いることで、データのスパarsityやノイズにもかかわらず信頼性を確保しつつ、感情の価値（valence）、覚醒（arousal）、優位性（dominance）の各次元において統計的に有意な性別差を示した。特に優位性の次元で最も顕著な乖離が認められた。

ABSTRACT

Do men and women perceive emotions differently? Popular convictions place women as more emotionally perceptive than men. Empirical findings, however, remain inconclusive. Most prior studies focus on visual modalities. In addition, almost all of the studies are limited to experiments within controlled environments. Generalizability and scalability of these studies has not been sufficiently established. In this paper, we study the differences in perception of emotion between genders from speech data in the wild, annotated through crowdsourcing. While we limit ourselves to a single modality (i.e. speech), our framework is applicable to studies of emotion perception from all such loosely annotated data in general. Our paper addresses multiple serious challenges related to making statistically viable conclusions from crowdsourced data. Overall, the contributions of this paper are two fold: a reliable novel framework for perceptual studies from crowdsourced data; and the demonstration of statistically significant differences in speech-based emotion perception between genders.

研究の動機と目的

• 男性と女性が発話における感情をどのように異なるように認識するかを調査し、女性は感情的に感受性が強いという一般的なステレオタイプに挑戦すること。
• 緩いアノテーションがなされた、現実世界（イン・ザ・ワイルド）の発話データを用いた、スケーラブルで統計的に堅牢な知覚研究フレームワークの開発。
• クラウドソーシングデータに内在するノイズ、スパarsity、制御不能さの課題に対処しつつ、統計的妥当性を維持すること。
• 感情の次元（価値、覚醒、優位性）にわたる性別差に関する仮説を検証すること。
• 収集したデータと研究手法を、将来的な感情計算および感情認識分野の研究を支援するために公開すること。

提案手法

• 生態的妥当性と感情表現の多様性を確保するため、実世界の制御不能な環境からの発話サンプルを収集する。
• 感情を連続的な3次元スケールで表現するため、VAD（価値、覚醒、優位性）モデルを用いることで、離散的 emotion ラベルを超えた微細な分析を可能にする。
• 性別に偏りのない動的な顔の表情を備えた AffectButton インターフェースを採用し、クラウドワーカーによる効率的かつ信頼性の高い感情アノテーションを実現する。
• スパarsity とノイズのあるクラウドソーシングアノテーションに対処するため、リサンプリング手法と統計的仮説検定を適用し、堅牢な推論を実現する。
• レーティングが「誠実な意図」で行われ、一般の人々を代表するようにするため、データのフィルタリングと品質管理を実施し、バイアスを低減する。
• データの階層的構造に基づいた構造化された検定統計量を用いて、男性と女性のレーティングの知覚差を比較する。

実験結果

リサーチクエスチョン

• RQ1 男性と女性は、発話における感情認識において、特にVADの各次元で異なる認識をしているか？
• RQ2 発話者の性別が、男性および女性のレーティングの認識に影響を与えているか？
• RQ3 ノイズが多く、スパarsity があり、制御不能なクラウドソーシングデータからも、統計的に妥当な結論を導くことが可能なフレームワークを開発できるか？
• RQ4 感情認識における性別差は、感情の3つの次元（価値、覚醒、優位性）でどの程度異なるか？
• RQ5 AffectButton と VAD モデルを効果的に活用することで、大規模かつ現実世界の研究における感情アノテーション品質をどのように向上させられるか？

主な発見

• すべてのVAD次元において、統計的に有意な性別差が認められ、特に優位性の次元で最も顕著な差が示された。
• 女性のレーティングは、発話者の性別や感情的内容を制御しても、常に男性のレーティングよりも感情をより優位性が高いと認識していた。
• 発話者の性別は、男性および女性のレーティングの認識に有意な影響を及ぼさず、発話者の性別認識にバイアスがないことが示された。
• 提案されたフレームワークは、クラウドソーシングデータのノイズとスパarsity を効果的に緩和し、リサンプリングと構造化された統計モデリングにより、信頼性のある仮説検定を可能にした。
• 本研究は、AffectButton やVADのような連続的 emotion モデルを効果的に活用することで、大規模かつ現実世界の感情認識研究が、実現可能で情報価値の高いものであることを示した。
• 本研究で収集したデータと研究手法は、感情計算および感情認識分野の将来的な研究を支援するため、公開されている。