[论文解读] Detecting gender differences in perception of emotion in crowdsourced data

Shahan Ali Memon, Hira Dhamyal+6 more|arXiv (Cornell University)|Oct 24, 2019

Sentiment Analysis and Opinion Mining参考文献 43被引用 6

一句话总结

本文提出了一套可扩展的框架，利用真实世界音频的众包数据研究基于语音的情绪感知中的性别差异。该研究通过VAD模型和基于AffectButton的标注方法，在数据稀疏和噪声较大的情况下仍确保了可靠性，发现在愉悦度、唤醒度和支配度三个维度上，性别差异具有统计显著性，其中支配度维度的差异最为明显。

ABSTRACT

Do men and women perceive emotions differently? Popular convictions place women as more emotionally perceptive than men. Empirical findings, however, remain inconclusive. Most prior studies focus on visual modalities. In addition, almost all of the studies are limited to experiments within controlled environments. Generalizability and scalability of these studies has not been sufficiently established. In this paper, we study the differences in perception of emotion between genders from speech data in the wild, annotated through crowdsourcing. While we limit ourselves to a single modality (i.e. speech), our framework is applicable to studies of emotion perception from all such loosely annotated data in general. Our paper addresses multiple serious challenges related to making statistically viable conclusions from crowdsourced data. Overall, the contributions of this paper are two fold: a reliable novel framework for perceptual studies from crowdsourced data; and the demonstration of statistically significant differences in speech-based emotion perception between genders.

研究动机与目标

• 探究男性和女性在语音情绪感知上是否存在差异，以挑战‘女性更具情绪感知力’这一普遍刻板印象。
• 开发一种可扩展、统计稳健的感知研究框架，适用于松散标注、真实世界（真实场景）的语音数据。
• 在保持统计有效性的前提下，应对众包数据固有的噪声、稀疏性和缺乏控制等问题。
• 检验关于性别差异在多个情绪维度（愉悦度、唤醒度、支配度）上情绪感知的假设。
• 将所收集的数据和方法公开，以支持情感计算和情绪感知领域的未来研究。

提出的方法

• 从真实世界、非受控环境中收集语音样本，以确保生态效度和情绪表达的多样性。
• 采用VAD（愉悦度、唤醒度、支配度）模型，将情绪表示为连续的三维尺度，实现超越离散情绪标签的精细分析。
• 使用AffectButton界面——一种性别中立的动态面部表情工具——以提高众包工作者情绪标注的效率和可靠性。
• 应用重采样方法和统计假设检验，以处理稀疏且嘈杂的众包标注，确保推断的稳健性。
• 实施数据过滤和质量控制，确保评分者以“诚信”态度参与并代表一般人群，从而减少偏差。
• 基于数据的分层结构，采用结构化的检验统计量，比较男性和女性评分者在感知差异上的表现。

实验结果

研究问题

• RQ1 男性和女性在语音情绪感知上是否存在差异，特别是在VAD各维度上？
• RQ2 说话人的性别在多大程度上影响男性和女性评分者的感知？
• RQ3 能否开发出一种统计上可行的框架，以从嘈杂、稀疏且非受控的众包数据中得出可靠结论？
• RQ4 性别差异在情绪的三个维度（愉悦度、唤醒度、支配度）上表现程度如何？
• RQ5 如何有效利用AffectButton和VAD模型，以提升大规模真实世界研究中情绪标注的质量？

主要发现

• 在所有三个VAD维度上均发现具有统计显著性的性别差异，其中支配度维度的差异最为显著。
• 女性评分者始终将情绪感知为更具支配性，即使在控制说话人性别和情绪内容后依然如此。
• 说话人的性别并未显著影响男性或女性评分者的感知评分，表明在说话人性别感知上不存在偏差。
• 所提出的框架成功缓解了众包数据中的噪声和稀疏性问题，通过重采样和结构化统计建模，实现了可靠的假设检验。
• 本研究证明，当结合AffectButton等稳健的标注工具和VAD等连续情绪模型时，大规模真实世界情绪感知研究是可行且具有信息价值的。
• 数据集和方法已公开，以支持情感计算和情绪感知领域的未来研究。