[논문 리뷰] Overlapping neural representations for the position of visible and imagined objects

Amanda K. Robinson, Tijl Grootswagers외 4명|arXiv (Cornell University)|2020. 10. 19.

Visual perception and processing mechanisms인용 수 4

한 줄 요약

이 연구는 뇌파(EEG)와 시간 해상도를 가진 다변량 패턴 분석(MVPA)을 사용하여, 상상한 물체 위치의 신경 표현이 실제로 보이는 물체의 것과 겹치며, 초기 망막 정렬 경로가 아닌 중간 및 고차원 시각 처리 과정에 의존함을 보여준다. 상상한 위치는 실제로 보이는 것보다 더 이르게 그리고 더 약한 신경 신호로 복원되며, 이는 내부 공간 표현을 이끄는 상향식, 예측 가능한 메커니즘이 있음을 시사한다.

ABSTRACT

Humans can covertly track the position of an object, even if the object is temporarily occluded. What are the neural mechanisms underlying our capacity to track moving objects when there is no physical stimulus for the brain to track? One possibility is that the brain 'fills-in' information about imagined objects using internally generated representations similar to those generated by feed-forward perceptual mechanisms. Alternatively, the brain might deploy a higher order mechanism, for example using an object tracking model that integrates visual signals and motion dynamics. In the present study, we used EEG and time-resolved multivariate pattern analyses to investigate the spatial processing of visible and imagined objects. Participants tracked an object that moved in discrete steps around fixation, occupying six consecutive locations. They were asked to imagine that the object continued on the same trajectory after it disappeared and move their attention to the corresponding positions. Time-resolved decoding of EEG data revealed that the location of the visible stimuli could be decoded shortly after image onset, consistent with early retinotopic visual processes. For processing of unseen/imagined positions, the patterns of neural activity resembled stimulus-driven mid-level visual processes, but were detected earlier than perceptual mechanisms, implicating an anticipatory and more variable tracking mechanism. Encoding models revealed that spatial representations were much weaker for imagined than visible stimuli. Monitoring the position of imagined objects thus utilises similar perceptual and attentional processes as monitoring objects that are actually present, but with different temporal dynamics. These results indicate that internally generated representations rely on top-down processes, and their timing is influenced by the predictability of the stimulus.

연구 동기 및 목표

• 상상한 물체 위치의 신경 표현이 실제로 보이는 물체의 것과 유사한 메커니즘을 공유하는지 조사하기 위해.
• 시간 해상도를 가진 복원 기법을 사용하여 상상한 자극과 실제로 보이는 자극의 뇌 처리 시간 역학을 비교하기 위해.
• 내부 공간 위치 표현이 감각적인지 고차원주의적 주의 메커니즘에 의해 이뤄지는지 평가하기 위해.
• 이미지 작업 동안 공간 표현을 복원할 때 눈동자의 움직임과 같은 혼동 요인을 통제하기 위해.

제안 방법

• 참가자들은 물체가 사라진 후에도 동일한 궤적을 따라 움직이는 것으로 상상하기 위해 6개의 위치를 따라 물체를 추적했다.
• 실제 추적 단계와 상상된 계속 이어짐 단계 동안 EEG 데이터를 촬영했다.
• 시간 해상도를 가진 다변량 패턴 분석(MVPA)을 사용하여 뇌 활동 패턴으로부터 공간 위치를 복원했다.
• 일반화를 보장하기 위해, 별도의 패턴 추정기에서 무작위로 배치된 실제 자극 시퀀스를 사용하여 복원기를 학습시켰다.
• 복원기에서 실제 자극 패턴 추정기에서 유래한 신호를 상상된 추적 작업으로 복원하여, 눈동자 움직임과 무관한 위치 특이적 뇌 활동을 분리했다.
• 후두부 및 전두부 전극 집합을 별도로 분석하여, 공간 복원이 시각 처리 영역에서 유래했음을 검증했다.

실험 결과

연구 질문

• RQ1 상상한 물체 위치의 신경 표현이 실제로 보이는 물체의 것과 유사한 공간 코드 메커니즘을 공유하는가?
• RQ2 상상한 위치의 뇌 처리 시간 역학은 실제로 보이는 자극과 비교해 어떻게 다른가?
• RQ3 초기 망막 정렬 시각 처리 과정이 상상한 물체 위치 표현에 얼마나 기여하는가?
• RQ4 눈동자 움직임이 상상 작업 동안 관측된 공간 위치 복원에 기여하는가?
• RQ5 자극의 예측 가능성은 내부 공간 표현의 강도와 시기적 특성에 어떤 영향을 미치는가?

주요 결과

• 상상한 물체 위치의 뇌 패턴은 실제로 보이는 자극보다 더 이르게 복원되었으며, 이는 내부 표현에서 예측 가능한 처리가 일어남을 시사한다.
• 상상 자극의 뇌 표현 강도는 실제로 보이는 자극보다 유의미하게 약했으며, 이는 인코딩 모델 성능으로 확인되었다.
• 상상 자극에서 공간 위치 복원은 초기 망막 정렬 메커니즘보다 중간 및 고차원 시각 처리 과정에 의존한다.
• 무작위로 배치된 실제 자극을 사용한 패턴 추정기에서 유래한 복원 신호를 상상된 추적 작업으로 복원한 결과, 유의미한 수준을 넘어서서, 눈동자 움직임과 무관한 공통된 신경 코드가 있음을 시사한다.
• 후두부 전극 분석 결과, 공간 복원 패턴은 시각 시스템 활동과 일치하며, 전두부 잡음이나 눈동자 움직임 신호와는 무관함을 확인했다.
• 결과는 상향식, 예측 가능한 메커니즘이 내부 공간 표현의 기초가 되며, 자극의 예측 가능성에 따라 시간적 조절이 일어남을 시사한다.