[논문 리뷰] Assessing the Contribution of Semantic Congruency to Multisensory Integration and Conflict Resolution

Di Fu, Pablo Barros외 5명|arXiv (Cornell University)|2018. 10. 15.

Categorization, perception, and language참고 문헌 8인용 수 3

한 줄 요약

이 연구는 복잡한 몰입형 환경에서 청각-시각(_AV_) 공간 정위치 및 갈등 해소에 영향을 미치는 의미적 일관성—특히 청각 자극과 시각 자극 간 성별 기반 일관성—이 어떻게 작용하는지 조사한다. 가상 아바타를 사용한 실험에서 남성 및 여성 아바타와 음성 자극을 활용하여, 의미적 일관성이 비틀림 효과(시각 자극에 대한 청각 자극의 시각적 편향)의 크기를 조절하지만, 입동작 및 운동과 같은 환경 통계가 AV 갈등 해소에서 지배적인 요소로 작용함을 입증한다.

ABSTRACT

The efficient integration of multisensory observations is a key property of the brain that yields the robust interaction with the environment. However, artificial multisensory perception remains an open issue especially in situations of sensory uncertainty and conflicts. In this work, we extend previous studies on audio-visual (AV) conflict resolution in complex environments. In particular, we focus on quantitatively assessing the contribution of semantic congruency during an AV spatial localization task. In addition to conflicts in the spatial domain (i.e. spatially misaligned stimuli), we consider gender-specific conflicts with male and female avatars. Our results suggest that while semantically related stimuli affect the magnitude of the visual bias (perceptually shifting the location of the sound towards a semantically congruent visual cue), humans still strongly rely on environmental statistics to solve AV conflicts. Together with previously reported results, this work contributes to a better understanding of how multisensory integration and conflict resolution can be modelled in artificial agents and robots operating in real-world environments.

연구 동기 및 목표

• 청각 자극과 시각 자극 간 의미적 일관성—특히 성별 기반 일관성—이 다감각 통합 및 갈등 해소에 미치는 역할을 조사하는 것.
• 의미적 일관성이 복잡한 실제 세계 유사 환경에서 비틀림 효과(청각 자극이 시각 자극 쪽으로 인지적으로 이동하는 현상)의 크기에 어떻게 영향을 미치는지 연구하는 것.
• 의미적 요소가 공간적 및 동적 시각 통계의 영향을 초월하거나 조절할 수 있는지 여부를 규명하는 것.
• 실제 세계 환경에서 운영되는 인공 에이전트 및 로봇의 다감각 인식을 위한 계산 모델 향상에 실증 데이터를 제공하는 것.

제안 방법

• 32명의 참가자가 참여한 행동 연구를 실시하였으며, 네 명의 애니메이션 아바타(남성 3명, 여성 1명)를 포함한 몰입형 프로젝션 환경에서 공간적으로 일치하지 않는 청각-시각 자극을 제시하였다.
• 남성 또는 여성의 목소리로 청각 자극을 제시하고, 해당 성별에 맞는 혹은 충돌하는 성별 신호를 가진 시각 자극을 제시하였으며, 공간 일치 정도(중앙, 측면, 1-아바타 간격, 2-아바타 간격)를 다양화하였다.
• 참가자의 시선 안정을 위해 턱 받침대를 사용하여 화면으로부터 일정한 거리(160 cm)를 유지하였고, loudspeakers를 아바타 위치와 일치시켜 배치하였다.
• 공간적 일치성과 의미적 일관성 조건에서 청각 자극의 소리 원천을 정위치하는 데 참가자의 반응을 측정하였다.
• 반복 측정 ANOVA를 사용하여 음성 성별, 시각 자극 유형(정적 또는 애니메이션), 공간 거리의 주효과 및 상호작용을 분석하였다.
• 비틀림 효과(ER)를 청각 자극이 시각 자극 쪽으로 인지적으로 이동하는 정도로 정량화하였으며, 의미적 일관성이 있는지 여부의 조건을 비교하였다.

실험 결과

연구 질문

• RQ1 의미적 일관성(성별 기반 청각-시각 쌍)은 공간 청각-시각 정위치 작업에서 비틀림 효과의 크기에 어떻게 영향을 미치는가?
• RQ2 환경 통계(예: 애니메이션된 입동작, 신체 운동)는 의미적 일관성과 비교해 복합적인 AV 갈등 해소에 얼마나 큰 영향을 미치는가?
• RQ3 소리가 남성 아바타(MA)와 공간적으로 일치할 때, 의미적으로 일치하는 여성 아바타(FA)가 존재하면 인지적 편향이 유의하게 증가하는가?
• RQ4 공간 거리(1-아바타 간격 및 2-아바타 간격)는 의미적 요소와 동적 시각 자극의 영향을 AV 통합에 어떻게 조절하는가?

주요 결과

• 음성 성별이 비틀림 효과에 미치는 주효과는 유의미했다(F=7.82, p<0.01, η²=0.20), 성별 기반 청각-시각 쌍이 인지적 편향에 영향을 준다는 것을 시사한다.
• 남성 음성 자극의 경우, 중심(ER=70%) 및 측면(ER=79%) 조건에서의 시각적 편향이 1-아바타 간격(ER=49%) 및 2-아바타 간격(ER=41%) 조건보다 유의하게 강했다(p<0.001).
• 여성 음성 자극의 경우, 애니메이션된 남성 아바타(MA)는 강한 시각적 편향(ER=57%)을 유도했지만, 정적 여성 아바타(FA)는 매우 약한 편향(ER=10%)을 유도했으며, 이는 애니메이션된 FA(ER=61%)와도 유의하게 다름(p<0.001).
• 시각 자극 유형과 공간 거리 간의 상호작용은 유의미했다(F=5.61, p<0.01, η²=0.16), 애니메이션된 아바타가 거리에 관계없이 정적 아바타보다 항상 더 강한 편향을 유도한다는 것을 보여주었다.
• 남성 음성 조건에서, 1-아바타 간격에서 애니메이션된 FA는 정적 FA보다 더 높은 편향(ER=52% vs. ER=56%)을 유도했으며(p<0.01), 이는 애니메이션 효과가 의미 불일치 조건에서도 인지적 유대를 강화한다는 것을 시사한다.
• 의미적 일관성의 영향에도 불구하고, 환경 통계(예: 애니메이션된 입동작)가 AV 갈등 해소에서 지배적인 요소였으며, 성별 일치 여부에 관계없이 애니메이션된 아바타 쪽으로 더 강한 편향이 관찰되었다.