[논문 리뷰] Adaptive compressed sensing - a new class of self-organizing coding models for neuroscience

William K. Coulter, Christopher J. Hillar외 1명|arXiv (Cornell University)|2009. 06. 05.

Neural dynamics and brain function참고 문헌 18인용 수 5

한 줄 요약

이 논문은 압축 감지 프레임워크 내에서 시냅스 학습을 통해 압축된 입력에서 희박 코딩을 가능하게 하는 새로운 신경망 모델인 적응형 압축 감지(ACS)를 소개한다. 기존의 희박 코딩과 달리, ACS는 피드포워드 입력이 심각하게 압축되어도 생물학적으로 타당하고 공간적으로 매끄러운 수용체 영역을 형성할 수 있으며, 의미 있는 표현을 유지하는 연속적인 복원 단계를 거쳐 계층적皮질 상호작용을 가능하게 한다.

ABSTRACT

Sparse coding networks, which utilize unsupervised learning to maximize coding efficiency, have successfully reproduced response properties found in primary visual cortex \cite{AN:OlshausenField96}. However, conventional sparse coding models require that the coding circuit can fully sample the sensory data in a one-to-one fashion, a requirement not supported by experimental data from the thalamo-cortical projection. To relieve these strict wiring requirements, we propose a sparse coding network constructed by introducing synaptic learning in the framework of compressed sensing. We demonstrate that the new model evolves biologically realistic spatially smooth receptive fields despite the fact that the feedforward connectivity subsamples the input and thus the learning has to rely on an impoverished and distorted account of the original visual data. Further, we demonstrate that the model could form a general scheme of cortical communication: it can form meaningful representations in a secondary sensory area, which receives input from the primary sensory area through a "compressing" cortico-cortical projection. Finally, we prove that our model belongs to a new class of sparse coding algorithms in which recurrent connections are essential in forming the spatial receptive fields.

연구 동기 및 목표

• 희박 코딩 모델이 수용체 영역와 정확히 일치하는 피드포워드 연결을 요구하는 생물학적 비현실성 문제를 해결하기 위해.
• 실험 데이터에 의해 지지되는, 압축된 콜로티컬 및 코티컬-코티컬 연결의 제약 조건 하에서 작동하는 학습 체계를 개발하기 위해.
• 입력이 압축되고 왜곡되었을 때도 의미 있는, 공간적으로 매끄러운 수용체 영역이 형성될 수 있음을 보여주기 위해.
• 희박 신경 코딩의 압축과 복원을 기반으로 하는 일반적이고 스택형으로 구축 가능한 피질 상호작용 프레임워크를 구축하기 위해.
• 입력이 압축되었을 때 반사적 피드백 연결이 수용체 영역 형성에 필수적이며, 피질 계산의 핵심 문제를 해결함을 보여주기 위해.

제안 방법

• 에너지 최소화 프레임워크를 사용하며, 수정된 목적 함수를 사용한다: $ E({\bf x,a,\bf\tilde{\bf \theta}}) = \frac{1}{2}\|\bf\Phi x - \bf\Theta a\|^2 + \lambda \|a\|_{L_0} $, 여기서 $\bf\Phi$ 는 고정된 무작위 압축 행렬이고 $\bf\Theta$ 는 경사 하강법을 통해 학습된 적응형 사전이다.
• 시냅스 가중치($\bf\Theta$)는 에너지 함수에 대한 경사 하강법에서 유도된 헤비안 유사 학습 규칙을 사용하여 업데이트되며, 이는 압축된 입력 하에서 네트워크가 자율적으로 조직화될 수 있도록 한다.
• 모델은 두 단계로 운영된다: 첫 번째로, 주된 영역이 압축된 입력 $\bf\Phi x$ 를 수신하고 희박 코딩 $\bf a$ 를 형성한다; 두 번째로, 이 코딩이 압축 투영을 통해 보조 영역으로 전송되어 복원된다.
• 수용체 영역(RF)은 관계 $\bf\Phi RF = \bf\Theta D$ 에서 유도되며, 여기서 $D$ 는 활동의 공분산이다. 이는 수용체 영역이 피드포워드 가중치와 피드백 연결성 모두에 의해 형성됨을 보여준다.
• 이론적 분석은 압축 영역($k \ll m$)에서 수용체 영역이 일반적으로 피드포워드 가중치의 스칼라 배수가 아니라는 것을 증명한다. 유일한 예외는 $\bf\Phi\Phi^\top$ 가 항등행렬에 가까울 경우이다.
• 모델은 시뮬레이션을 통해 입력 압축에도 불구하고 매끄럽고 방향 선택성을 가진 수용체 영역 형성과 다단계에 걸친 성공적인 계층적 복원을 보여주며 검증되었다.

실험 결과

연구 질문

• RQ1 자극이 체계적으로 압축된 상태, 즉 체계적 피드포워드 연결을 통해 입력되는 상황에서 희박 코딩 네트워크는 생물학적으로 타당한 수용체 영역을 형성할 수 있는가?
• RQ2 압축 감지 프레임워크 내에서 시냅스 학습은 입력 왜곡 상황에서도 공간적으로 매끄러운 수용체 영역 형성에 어떻게 기여하는가?
• RQ3 ACS 모델은 코티컬-코티컬 투영을 통해 압축된 코딩을 의미 있게 복원함으로써 계층적 피질 상호작용을 지원할 수 있는가?
• RQ4 입력이 압축되었을 때 피드백 연결성은 수용체 영역 형성에 어떤 역할을 하는가?
• RQ5 일对일 피드포워드 연결이 없는 상황에서 효율적이고 비자명한 수용체 영역이 어떻게 형성되는지에 대한 이론적 근거는 있는가?

주요 결과

• ACS는 랜덤 투영 행렬 $\bf\Phi$ 를 통해 입력이 압축되어도 공간적으로 매끄럽고 방향 선택성을 가진 수용체 영역을 성공적으로 형성하여, 현실적인 연결 제약 조건 하에서도 생물학적 타당성을 입증한다.
• 이론적 분석은 압축 영역에서 수용체 영역가 일반적으로 피드포워드 가중치의 스칼라 배수가 아니며, 이는 기존의 희박 코딩 가정과 정반대됨을 증명한다.
• 모델은 스택형으로 구현 가능하다: 주된 영역의 희박 코딩이 압축 투영을 거쳐 보조 감각 영역에서 의미 있는 표현으로 복원될 수 있으며, 이는 계층적 피질 처리를 지원한다.
• 반사적 피드백 연결은 압축 영역에서 수용체 영역 형성에 필수적이다. 피드백 연결이 없으면 최적의 코딩 효율성을 달성할 수 없다.
• 압축 감지 에너지 함수에 대한 경사 하강법에서 유도된 모델의 학습 규칙은 헤비안 유사 시냅스 가소성 규칙을 제공하며, 이는 압축된 입력 하에서 자율적 조직화를 가능하게 한다.
• 시뮬레이션 결과는 ACS가 원래 입력의 왜곡되고 압축된 버전을 수신함에도 불구하고, 주된 시각 피질의 핵심 반응 특성인 방향 선택성을 재현할 수 있음을 확인한다.