[論文レビュー] Assessing the Contribution of Semantic Congruency to Multisensory Integration and Conflict Resolution

Di Fu, Pablo Barros+5 more|arXiv (Cornell University)|Oct 15, 2018

Categorization, perception, and language参考文献 8被引用数 3

ひとこと要約

本研究は、音声と視覚的刺激の間の意味的整合性—特に性別に基づく一貫性—が、複雑で没入的な環境における音声視覚（AV）空間的局在化と衝突解消に与える影響を調査する。仮想アバターを用いた実験で、男性および女性のアバターと声を用い、意味的整合性がベントリロイズム効果（視覚的刺激に沿った音声の知覚的シフト）の大きさを調整することを示したが、同時に、唇の動きや運動などの環境統計が、AVの衝突解消において支配的要因であることを明らかにした。

ABSTRACT

The efficient integration of multisensory observations is a key property of the brain that yields the robust interaction with the environment. However, artificial multisensory perception remains an open issue especially in situations of sensory uncertainty and conflicts. In this work, we extend previous studies on audio-visual (AV) conflict resolution in complex environments. In particular, we focus on quantitatively assessing the contribution of semantic congruency during an AV spatial localization task. In addition to conflicts in the spatial domain (i.e. spatially misaligned stimuli), we consider gender-specific conflicts with male and female avatars. Our results suggest that while semantically related stimuli affect the magnitude of the visual bias (perceptually shifting the location of the sound towards a semantically congruent visual cue), humans still strongly rely on environmental statistics to solve AV conflicts. Together with previously reported results, this work contributes to a better understanding of how multisensory integration and conflict resolution can be modelled in artificial agents and robots operating in real-world environments.

研究の動機と目的

• 音声と視覚的刺激の間の意味的整合性—特に性別に基づく一貫性—がマルチセンサリー統合および衝突解消に果たす役割を調査すること。
• 意味的整合性が、複雑で現実世界に類似した環境におけるベントリロイズム効果（音声が視覚的キューに沿って知覚的にシフトする現象）の大きさに与える影響を検討すること。
• 意味的要因が、空間的および動的視覚的統計の影響を上回るか、あるいは調整するかどうかを特定すること。
• 実世界の環境で動作する人工エージェントやロボットのマルチセンサリー知覚の計算モデルを改善するための実証的データを提供すること。

提案手法

• 4体のアニメーションアバター（3体の男性、1体の女性）を含む没立体プロジェクション環境で、32名の参加者を対象に行動的実験を実施。音声と視覚的刺激が空間的に一致しない状態を提示。
• 男性または女性の声を音声刺激として提示し、それに応じた性別的キューを持つ視覚的刺激（一致または不一致）を提示。空間的整合性（中央、側方、1アバター間隔、2アバター間隔）を変化させた。
• 参加者の視線を安定化させるためにチンレストを用い、スクリーンからの視認距離を一定（160 cm）に保った。ス loudspeakers をアバターの位置に一致させるように配置した。
• 空間的および意味的整合性の条件における音声刺激の音源位置を参加者が特定する反応を測定した。
• 反復測定分散分析（repeated-measures ANOVAs）を用いて、声の性別、視覚的キューの種別（静止画またはアニメーション）、空間的距離の主効果および交互作用を分析した。
• ベントリロイズム効果（ER）を、視覚的キューに沿った音声の知覚的シフトとして定量化し、意味的整合性あり・なしの条件を比較した。

実験結果

リサーチクエスチョン

• RQ1 意味的整合性（性別に特化した音声視覚ペアリング）は、空間的音声視覚局在化タスクにおけるベントリロイズム効果の大きさにどのように影響するか？
• RQ2 環境統計（例：アニメーション化された口唇の動き、身体の運動）は、意味的整合性と比較して、AV衝突解消にどの程度影響を及ぼすか？
• RQ3 音声が男性アバター（MA）と空間的に整合している際、意味的整合性のある女性アバター（FA）が存在する場合、知覚に顕著なバイアスを引き起こすか？
• RQ4 空間的距離（1アバター間隔および2アバター間隔）は、意味的および動的視覚的キューがAV統合に与える影響をどのように調整するか？

主な発見

• 声の性別がベントリロイズム効果に及ぼす主効果は有意であった（F=7.82, p<0.01, η²=0.20）。これは、性別に特化した音声視覚ペアリングが知覚的バイアスに影響を及ぼすことを示している。
• 男性声の刺激では、中央（ER=70%）および側方（ER=79%）の条件における視覚的バイアスが、1アバター間隔（ER=49%）および2アバター間隔（ER=41%）の条件よりも顕著に強かった（p<0.001）。
• 女性声の刺激では、アニメーション化された男性アバター（MA）が強い視覚的バイアス（ER=57%）を誘発したが、静止画の女性アバター（FA）は非常に弱いバイアス（ER=10%）を示した。両者ともアニメーション化されたFA（ER=61%）とは有意に異なる（p<0.001）。
• 視覚的キューの種別と空間的距離の間の交互作用は有意であった（F=5.61, p<0.01, η²=0.16）。アニメーション化されたアバターは、距離にかかわらず静止画のものよりも常に強いバイアスを誘発した。
• 男性声の条件では、1アバター間隔において、アニメーション化されたFAが静止画のFAよりも高いバイアスを示した（ER=52% vs. ER=56%、p<0.01）。これは、アニメーション化が意味的不一致がある場合でも知覚的結合を強化することを示唆している。
• 意味的整合性の効果が見られたものの、環境統計（例：アニメーション化された口唇の動き）がAV衝突解消において支配的要因であった。これは、性別的一致性に関わらず、アニメーション化されたアバターに強いバイアスが生じたことから裏付けられている。