[논문 리뷰] Perceptual similarity of visual patterns predicts the similarity of their dynamic neural activation patterns measured with MEG

Susan G. Wardle, Nikolaus Kriegeskorte외 3명|arXiv (Cornell University)|2015. 06. 07.

Visual perception and processing mechanisms참고 문헌 52인용 수 4

한 줄 요약

이 연구는 인간 뇌에서 자기뇌전도측정(MEG)으로 측정한 동적 신경 활성 패턴의 유사성과 추상적 시각 패턴 간의 지각적 유사성 간의 강한 예측 관계를 보여준다. 고유한 글로벌 형태를 가진 가바르 패치 기반 자극을 사용하여, 저자들은 초기 신경 반응이 망막조직에 의해 결정되지만, 자극 이후 80ms가 지나면 지각적 유사성이 신경 표현 유사성의 가장 강력한 예측자로 나타남을 밝혀냈다 — 이는 신경 데이터와의 상관계수에서 노이즈 천장 한계에 도달하였다.

ABSTRACT

Perceptual similarity is a cognitive judgment that represents the end-stage of a complex cascade of hierarchical processing throughout visual cortex. Previous studies have shown a correspondence between the similarity of coarse-scale fMRI activation patterns and the perceived similarity of visual stimuli, suggesting that visual objects that appear similar also share similar underlying patterns of neural activation. Here we explore the temporal relationship between the human brain's time-varying representation of visual patterns and behavioral judgments of perceptual similarity. The visual stimuli were abstract patterns constructed from identical perceptual units (oriented Gabor patches) so that each pattern had a unique global form or perceptual 'Gestalt'. The visual stimuli were decodable from evoked neural activation patterns measured with magnetoencephalography (MEG), however, stimuli differed in the similarity of their neural representation as estimated by differences in decodability. Early after stimulus onset (from 50ms), a model based on retinotopic organization predicted the representational similarity of the visual stimuli. Following the peak correlation between the retinotopic model and neural data at 80ms, the neural representations quickly evolved so that retinotopy no longer provided a sufficient account of the brain's time-varying representation of the stimuli. Overall the strongest predictor of the brain's representation was a model based on human judgments of perceptual similarity, which reached the limits of the maximum correlation with the neural data defined by the 'noise ceiling'. Our results show that large-scale brain activation patterns contain a neural signature for the perceptual Gestalt of composite visual features, and demonstrate a strong correspondence between perception and complex patterns of brain activity.

연구 동기 및 목표

• 인간 뇌에서의 동적 신경 표현 방식이 시각 자극의 지각적 유사성과 어떻게 관련되어 있는지 조사하기 위해.
• 지각적 유사성 판단이 MEG로 측정한 시간에 따라 변하는 신경 활성 패턴의 유사성을 예측할 수 있는지 확인하기 위해.
• 시간에 따라 변화하는 신경 표현을 예측하는 데 있어 망막조직 모델과 지각적 유사성 모델의 예측 능력을 비교하기 위해.
• 측정 신뢰성의 노이즈 천장 한계에 의해 신경 표현 유사성이 얼마나 제약을 받는지 평가하기 위해.

제안 방법

• 자극은 동일한 방향성 가바르 패치로 구성된 추상적 시각 패턴이었으며, 일관된 지각 단위를 확보하면서도 글로벌 게슈탈트 형태를 다양하게 하였다.
• MEG를 사용하여 각 자극에 대한 시간 해상도가 높은 신경 활성 패턴을 기록함으로써 신경 동역학의 고시간 해상도 분석이 가능해졌다.
• 표현 유사성 분석(RSA)을 적용하여 자극 간의 신경 활성 패턴 유사성을 비교하고, 신경 반응의 유사성을 정량화하였다.
• 시공간 망막조직 배치를 바탕으로 한 망막조직 모델을 구축하여 초기 신경 반응을 예측하였다.
• 인간의 자극 유사성 판단 결과를 바탕으로 한 지각적 유사성 모델을 유도하여 신경 표현 유사성을 예측하였다.
• 모델 예측값과 신경 데이터 간의 상관계수를 다수의 시간 포인트에서 계산하였으며, 노이즈 천장 분석을 통해 달성 가능한 최대 상관계수를 설정하였다.

실험 결과

연구 질문

• RQ1 인간 뇌에서의 신경 활성 패턴 유사성은 시각 자극의 지각적 유사성과 시간에 따라 어떻게 관련되어 있는가?
• RQ2 망막조직 배치는 초기 처리 단계에서 시각 패턴의 신경 표현을 어느 정도 예측할 수 있는가?
• RQ3 인간 지각 유사성 판단에 기반한 모델이 망막조직 모델보다 신경 표현 유사성을 더 잘 예측하는가?
• RQ4 지각적 유사성이 신경 표현의 주요 예측자로 부상하는 시점은 언제인가?

주요 결과

• MEG로 측정한 시각 패턴의 신경 표현 유사성은 인간 관찰자가 내린 지각적 유사성 판단과 매우 밀접하게 일치한다.
• 자극 유도 후 50ms부터 망막조직 모델이 신경 반응을 예측하였으며, 자극 이후 80ms에 상관계수가 최고조에 도달하였다.
• 80ms 이후로 망막조직 모델의 예측 능력은 감소하여 고차원적 처리 과정이 초기 망막조직 배치를 초월함을 시사한다.
• 지각적 유사성 모델은 신경 데이터와 가장 높은 상관계수를 기록하였으며, 노이즈 천장 한계에 도달하여 신경 표현의 거의 모든 신뢰성 있는 변동을 설명함을 의미한다.
• 결과는 대규모 뇌 활성 패턴이 복합적인 시각적 특징의 지각적 게슈탈트를 인코딩하고 있음을 보여준다.
• 본 연구는 인간 시각皮질에서 지각 경험과 복잡하고 동적인 신경 활동 패턴 간의 직접적인 연결 고리를 강력히 뒷받침한다.