[논문 리뷰] Meaningful representations emerge from Sparse Deep Predictive Coding

Victor Boutin, Angelo Franciosini외 2명|arXiv (Cornell University)|2019. 02. 20.

Neural dynamics and brain function참고 문헌 17인용 수 2

한 줄 요약

이 논문은 조밀한 피드백 연결을 통합한 계층적 컨볼루션 모델인 희소 딥 예측 코딩(SDPC)을 제안한다. 이는 초기 시각에서 신경적이고 표현적 설명을 통합하는 데 목적이 있으며, 피드백 연결이 윤곽 통합과 노이즈에 대한 강건성을 향상시키기 위해 신경 상호작용을 재구성함을 보여준다.

ABSTRACT

Both neurophysiological and psychophysical experiments have pointed out the crucial role of recurrent and feedback connections to process context-dependent information in the early visual cortex. While numerous models have accounted for feedback effects at either neural or representational level, none of them were able to bind those two levels of analysis. Is it possible to describe feedback effects at both levels using the same model? We answer this question by combining Predictive Coding (PC) and Sparse Coding (SC) into a hierarchical and convolutional framework. In this Sparse Deep Predictive Coding (SDPC) model, the SC component models the internal recurrent processing within each layer, and the PC component describes the interactions between layers using feedforward and feedback connections. Here, we train a 2-layered SDPC on two different databases of images, and we interpret it as a model of the early visual system (V1 & V2). We first demonstrate that once the training has converged, SDPC exhibits oriented and localized receptive fields in V1 and more complex features in V2. Second, we analyze the effects of feedback on the neural organization beyond the classical receptive field of V1 neurons using interaction maps. These maps are similar to association fields and reflect the Gestalt principle of good continuation. We demonstrate that feedback signals reorganize interaction maps and modulate neural activity to promote contour integration. Third, we demonstrate at the representational level that the SDPC feedback connections are able to overcome noise in input images. Therefore, the SDPC captures the association field principle at the neural level which results in better disambiguation of blurred images at the representational level.

연구 동기 및 목표

• 초기 시각 피질에서 신경 수준의 피드백 메커니즘과 표현 수준의 맥락 처리 간 격차를 메우기 위해.
• 동일한 프레임워크를 사용하여 신경 조직과 표현적 강건성을 동시에 설명하는 통합 모델을 개발하기 위해.
• 피드백 연결이 전통적인 수용체 영역을 초월하여 신경 상호작용에 어떻게 영향을 미치는지 조사하기 위해.
• 피드백이 표현 수준에서 노이즈가 많거나 흐린 시각 입력을 어떻게 해소하는지 평가하기 위해.

제안 방법

• 모델은 각 층 내에서의 순환 처리를 위해 희소 코딩(SC)을 통합하고, 층 간의 전방 및 피드백 연결을 위해 예측 코딩(PC)을 사용한다.
• 2층 구조의 SDPC 아키텍처를 이미지 데이터베이스에 훈련시켜 V1 및 V2 케이스를 시뮬레이션한다.
• 층 내 순환 처리는 희소 코딩을 통해 모델링되며, 국소화되고 방향성이 있는 수용체 영역을 강제한다.
• 피드백 연결은 예측 코딩을 통해 구현되며, 하위 층 활동에 상향식 조절을 가능하게 한다.
• 전통적인 수용체 영역을 초월한 신경 연결성을 분석하기 위해 상호작용 지도를 계산한다.
• 흐린 이미지에서의 재구성 성능을 테스트하여 입력 노이즈에 대한 모델의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 단일 모델이 초기 시각에서 신경 수준과 표현 수준의 피드백 효과를 동시에 설명할 수 있는가?
• RQ2 피드백 연결은 전통적인 수용체 영역을 초월하여 신경 상호작용을 어떻게 재구성하는가?
• RQ3 피드백 신호가 상호작용 지도에 반영된 바탕으로 윤곽 통합을 어느 정도 촉진하는가?
• RQ4 피드백 연결은 표현 수준에서 노이즈가 많거나 흐린 이미지를 어떻게 더 잘 해소하는가?

주요 결과

• 훈련 후 SDPC 모델은 V1에서 방향성과 국소화된 수용체 영역을 발달시키며, V2에서는 더 복잡한 특징을 나타내어 신경생리학적 관찰과 일치한다.
• 피드백 연결은 상호작용 지도를 통해 연관 영역 유사한 구조로 재구성하여 양호한 계속성 원칙을 지원한다.
• 신경 활동이 피드백에 의해 조절되어 상호작용 지도의 공간적 구조를 통해 윤곽 통합이 향상됨을 보여준다.
• 표현 수준에서 피드백 연결은 흐린 또는 노이즈가 많은 입력 이미지를 재구성하는 데 모델의 능력을 크게 향상시킨다.
• SDPC 프레임워크는 신경 수준의 피드백 조직과 표현 수준의 노이즈에 대한 강건성을 성공적으로 통합한다.