[论文解读] Assessing the Contribution of Semantic Congruency to Multisensory Integration and Conflict Resolution

Di Fu, Pablo Barros+5 more|arXiv (Cornell University)|Oct 15, 2018

Categorization, perception, and language参考文献 8被引用 3

一句话总结

本研究探讨了语义一致性——特别是音频与视觉刺激之间基于性别的匹配程度——在复杂沉浸式环境中对视听（AV）空间定位及冲突解决的影响。通过使用具有男性和女性虚拟化身及声音的虚拟化身设置，作者表明，尽管语义一致性调节了木偶效应（视觉对语义一致刺激的偏向）的强度，但环境统计特征（如嘴唇动作和运动）仍是解决AV冲突的主要因素。

ABSTRACT

The efficient integration of multisensory observations is a key property of the brain that yields the robust interaction with the environment. However, artificial multisensory perception remains an open issue especially in situations of sensory uncertainty and conflicts. In this work, we extend previous studies on audio-visual (AV) conflict resolution in complex environments. In particular, we focus on quantitatively assessing the contribution of semantic congruency during an AV spatial localization task. In addition to conflicts in the spatial domain (i.e. spatially misaligned stimuli), we consider gender-specific conflicts with male and female avatars. Our results suggest that while semantically related stimuli affect the magnitude of the visual bias (perceptually shifting the location of the sound towards a semantically congruent visual cue), humans still strongly rely on environmental statistics to solve AV conflicts. Together with previously reported results, this work contributes to a better understanding of how multisensory integration and conflict resolution can be modelled in artificial agents and robots operating in real-world environments.

研究动机与目标

• 探讨音频与视觉刺激之间语义一致性（特别是基于性别的匹配）在多感官整合与冲突解决中的作用。
• 检验语义一致性如何影响复杂现实世界类环境中木偶效应（声音感知向视觉线索偏移）的强度。
• 确定语义因素是否能够超越或调节空间与动态视觉统计特征在AV冲突解决中的影响。
• 为改进在真实世界环境中运行的人工智能代理和机器人多感官感知计算模型提供实证数据。

提出的方法

• 在配备四个动画化身（三个男性，一个女性）的沉浸式投影环境中，对32名参与者开展行为实验，呈现空间错位的视听刺激。
• 呈现具有男性或女性声音的音频刺激，以及具有相应或冲突性别线索的视觉刺激，同时改变空间对齐方式（中央、侧方、1名和2名化身间距）。
• 使用下颌托以稳定参与者视线，确保与屏幕保持一致的观看距离（160厘米），并设置扬声器以匹配化身位置。
• 测量参与者在空间与语义一致性条件下对声音来源定位的反应。
• 使用重复测量方差分析（ANOVA）分析数据，评估声音性别、视觉线索类型（静态或动态）和空间距离的主效应与交互作用。
• 将木偶效应（ER）量化为声音向视觉线索的感知偏移，通过对比存在与不存在语义一致性的条件进行比较。

实验结果

研究问题

• RQ1 语义一致性（特定性别的音视频配对）在空间视听定位任务中如何影响木偶效应的强度？
• RQ2 与语义一致性相比，环境统计特征（如动态嘴唇运动、身体运动）在AV冲突解决中的影响程度如何？
• RQ3 当声音与男性化身（MA）空间对齐时，是否存在语义一致的女性化身（FA）是否会显著影响感知？
• RQ4 空间距离（1名和2名化身间距）如何调节语义与动态视觉线索对AV整合的影响？

主要发现

• 声音性别对木偶效应的主效应显著（F=7.82，p<0.01，η²=0.20），表明特定性别的音视频配对会影响感知偏向。
• 对于男性声音刺激，中央（ER=70%）和侧方（ER=79%）条件下的视觉偏向显著强于1名化身间距（ER=49%）和2名化身间距（ER=41%）条件（p<0.001）。
• 对于女性声音刺激，动态男性化身（MA）引发强烈视觉偏向（ER=57%），而静态女性化身（FA）引发的偏向则微弱得多（ER=10%），且两者均与动态女性化身（ER=61%）存在显著差异（p<0.001）。
• 视觉线索类型与空间距离的交互作用显著（F=5.61，p<0.01，η²=0.16），表明无论距离远近，动态化身始终引发比静态化身更强的偏向。
• 在男性声音条件下，1名化身间距中，动态女性化身（FA）引发的偏向（ER=52%）高于静态女性化身（ER=56%）（p<0.01），表明即使存在语义不匹配，动画仍能增强感知绑定。
• 尽管存在语义一致性效应，环境统计特征（如动态嘴唇运动）仍是AV冲突解决中的主导因素，表现为对动态化身的偏向始终更强，无论性别是否匹配。