[論文レビュー] Perceptual similarity of visual patterns predicts the similarity of their dynamic neural activation patterns measured with MEG

Susan G. Wardle, Nikolaus Kriegeskorte+3 more|arXiv (Cornell University)|Jun 7, 2015

Visual perception and processing mechanisms参考文献 52被引用数 4

ひとこと要約

本研究では、磁気脳図計測法（MEG）を用いて測定された、人間の脳における動的神経活性化パターンの類似性が、抽象的視覚パターンの知覚的類似性によって強く予測されることを示している。ガボールパッチを用いた刺激で、グローバルな形状が異なるが同一の局所的知覚単位を持つ刺激を用い、初期の神経応答は網膜局在的組織に依存するが、刺激投与後80msを過ぎると、知覚的類似性が神経的表象類似性の最も強い予測要因となる。これは、神経データとの相関におけるノイズの上限に達している。

ABSTRACT

Perceptual similarity is a cognitive judgment that represents the end-stage of a complex cascade of hierarchical processing throughout visual cortex. Previous studies have shown a correspondence between the similarity of coarse-scale fMRI activation patterns and the perceived similarity of visual stimuli, suggesting that visual objects that appear similar also share similar underlying patterns of neural activation. Here we explore the temporal relationship between the human brain's time-varying representation of visual patterns and behavioral judgments of perceptual similarity. The visual stimuli were abstract patterns constructed from identical perceptual units (oriented Gabor patches) so that each pattern had a unique global form or perceptual 'Gestalt'. The visual stimuli were decodable from evoked neural activation patterns measured with magnetoencephalography (MEG), however, stimuli differed in the similarity of their neural representation as estimated by differences in decodability. Early after stimulus onset (from 50ms), a model based on retinotopic organization predicted the representational similarity of the visual stimuli. Following the peak correlation between the retinotopic model and neural data at 80ms, the neural representations quickly evolved so that retinotopy no longer provided a sufficient account of the brain's time-varying representation of the stimuli. Overall the strongest predictor of the brain's representation was a model based on human judgments of perceptual similarity, which reached the limits of the maximum correlation with the neural data defined by the 'noise ceiling'. Our results show that large-scale brain activation patterns contain a neural signature for the perceptual Gestalt of composite visual features, and demonstrate a strong correspondence between perception and complex patterns of brain activity.

研究の動機と目的

• 人間の脳における動的神経表象が視覚刺激の知覚的類似性とどのように関係するかを調査すること。
• 知覚的類似性の判断が、MEGで測定された時間的に変化する神経活性化パターンの類似性を予測できるかどうかを特定すること。
• 時間経過に伴う神経表象を予測する際、網膜局在的モデルと知覚的類似性モデルの予測力の違いを比較すること。
• 神経的表象類似性が測定の信頼性のノイズ上限によってどの程度制約されているかを評価すること。

提案手法

• 刺激は、同一の方向性を持つガボールパッチを組み合わせて構築された抽象的視覚パターンであり、局所的知覚単位を一定に保ちつつ、グローバルなゲシュタルト形状を変化させたものであった。
• MEGを用いて、各刺激に対する時間分解能の高い神経活性化パターンを記録し、神経動態の高時間分解能分析を可能にした。
• 代表的類似性分析（RSA）を用いて、刺激間での神経活性化パターンの類似性を比較し、神経応答の類似性を定量的に評価した。
• 初期の神経応答を予測するため、空間的網膜局在的組織に基づく網膜局在的モデルを構築した。
• 人間の被験者が行なった刺激類似性の判断から得られた知覚的類似性モデルを、神経的表象類似性の予測に用いた。
• 複数の時間点でモデルの予測と神経データとの相関を計算し、ノイズの上限分析を用いて、達成可能な最大相関を確立した。

実験結果

リサーチクエスチョン

• RQ1 人間の脳における神経活性化パターンの類似性は、時間経過とともに視覚刺激の知覚的類似性とどのように関係するか？
• RQ2 網膜局在的組織は、初期処理段階における視覚パターンの神経表象をどの程度予測できるか？
• RQ3 人間の知覚的類似性判断に基づくモデルは、網膜局在的モデルよりも神経的表象類似性をよりよく予測できるか？
• RQ4 知覚的類似性が神経表象の主な予測要因となるのはどの時間点か？

主な発見

• MEGで測定された視覚パターンの神経的表象類似性は、人間被験者が行った知覚的類似性判断と密接に一致していた。
• 刺激投与後50msから、網膜局在的モデルが神経応答を予測し、刺激投与後80msに相関が最大に達した。
• 80ms以降、網膜局在的モデルの予測力は低下し、高次処理が初期の網膜局在的組織を上回っていることが示された。
• 知覚的類似性モデルは神経データとの相関が最も高く、ノイズの上限に達しており、神経表象の信頼性のある分散のほぼすべてを説明していることが示された。
• 結果から、大規模な脳の活性化パターンが、複合的な視覚的特徴の知覚的ゲシュタルトをエンコードしていることが明らかになった。
• 本研究は、人間視覚皮質における知覚体験と複雑で動的な神経活動パターンとの直接的な関連性を強く示唆している。