[논문 리뷰] Learning Features and their Transformations by Spatial and Temporal Spherical Clustering

Jayanta Dutta, Bonny Banerjee|arXiv (Cornell University)|2013. 08. 10.

Neural dynamics and brain function참고 문헌 20인용 수 5

한 줄 요약

이 논문은 첫 번째 계층에서 구형 클러스터링을 통해 공간적 특징을 학습하고 두 번째 계층에서 시간적 구형 클러스터링을 통해 변환 불변 특징을 학습하는 이중층, 비지도, 온라인 신경 모델을 제안한다. 모델은 자연적인 고양이 카메라 영상에서 단순세포 및 복합세포 유사 수용장역을 개발하고, 시간적 근접성에 의해 정상도 지도 형성과 학습된 전이 확률을 활용한 고차원 예측을 가능하게 하며, 조정 가능한 매개변수를 단 두 개만 사용한다.

ABSTRACT

Learning features invariant to arbitrary transformations in the data is a requirement for any recognition system, biological or artificial. It is now widely accepted that simple cells in the primary visual cortex respond to features while the complex cells respond to features invariant to different transformations. We present a novel two-layered feedforward neural model that learns features in the first layer by spatial spherical clustering and invariance to transformations in the second layer by temporal spherical clustering. Learning occurs in an online and unsupervised manner following the Hebbian rule. When exposed to natural videos acquired by a camera mounted on a cat's head, the first and second layer neurons in our model develop simple and complex cell-like receptive field properties. The model can predict by learning lateral connections among the first layer neurons. A topographic map to their spatial features emerges by exponentially decaying the flow of activation with distance from one neuron to another in the first layer that fire in close temporal proximity, thereby minimizing the pooling length in an online manner simultaneously with feature learning.

연구 동기 및 목표

• 인공 및 생물학적 인식 시스템에서 변환 불변 특징 학습을 위한 생물학적으로 타당하고 완전히 학습 가능한 계산 모델을 개발하기 위해.
• 계층적 네트워크에서의 정상도 단위로서 단순-복합세포 쌍의 기능적 역할을 이해하기 위해.
• 시간 연속성과 물리적 제약 조건을 이용하여 사전에 정의된 풀링 영역이나 군 집약성 가정 없이 정상도 특징 지도를 학습하기 위해.
• 첫 번째 계층의 뉴런 간 전이 확률을 학습하여 모델에 예측 능력을 부여하기 위해.
• 하이퍼파rameter 수를 단 두 개로 줄여 수동 조정을 최소화하기 위해: 학습률과 임계값 감쇠 매개변수.

제안 방법

• 첫 번째 계층은 단위 초구면에서 공간적 구형 클러스터링을 사용하여 공간적 특징을 학습하며, 이는 외곽치가 클러스터 중심에 영향을 주지 않아 단순세포 수용장역을 모방한다.
• 두 번째 계층은 시간적 구형 클러스터링을 적용하여 시간적 변환에 대해 불변 반응을 학습하며, 이는 복합세포 특성을 모방한다.
• 헤브시안 학습 규칙이 온라인 및 비지도 방식으로 적용되며, 가중치는 전조직 및 후조직 활동에 기반해 갱신된다.
• 첫 번째 계층 뉴런 간의 횡방향 연결은 전이 확률을 인코딩하기 위해 학습되며, 향후 발화 패tern 예측이 가능해진다.
• 공진하는 뉴런 간 시간적 근접성과 함께 지수 감쇠 활성화 흐름을 통해 정상도 지도가 자연스럽게 형성되며, 풀링 길이가 동적으로 최소화된다.
• 모델은 고정 크기의 공간적 및 시간적 수용장역을 사용하며, 복합세포는 단순세포보다 낮은 주파수로 샘플링하여 시간적 시퀀스를 포착한다.

실험 결과

연구 질문

• RQ1 외곽치 영향 없이 구형 클러스터링을 사용하여 생물학적으로 타당한 방식으로 공간적 특징을 학습할 수 있는가?
• RQ2 두 번째 계층에서 시간적 구형 클러스터링이 시공간 데이터에서 임의의 변환에 대해 불변성을 달성할 수 있는가?
• RQ3 사전에 정의된 풀링 영역이나 군 집약성 가정 없이 온라인으로 정상도 특징 지도를 학습할 수 있는가?
• RQ4 학습된 변환과 횡방향 전이 확률을 조합하여 모델이 향후 신경 활동을 예측할 수 있는가?
• RQ5 자연적인 고양이 카메라 영상에서 훈련된 모델의 행동이 고양이 V1의 단순세포 및 복합세포와 어느 정도 유사한가?

주요 결과

• 자연적인 고양이 카메라 영상에서 훈련된 첫 번째 계층 뉴런은 마카크 V1의 단순세포 수용장역과 유사한 수용장역을 개발하였다.
• 두 번째 계층 뉴런은 복합세포 유사한 변환 불변 반응을 보였으며, 순서 응답에서 방향 선택성이 관찰되었다.
• 모델은 변수 길이의 특징 시퀀스를 성공적으로 학습하였으며, 동일한 시간 샘플링 간격에서 여덟 개의 L2 뉴런이 서로 다른 길이의 시퀀스를 학습한 것으로 나타났다.
• 사전에 정의된 풀링 영역 설계 없이 시간적 근접성과 지수 감쇠 활성화 흐름을 통해 정상도 지도가 자연스럽게 형성되었다.
• 시스템의 엔트로피는 시간이 지남에 따라 감소하여 자연 자극에서의 온라인 학습 중 수렴함을 나타내었다.
• 복합세포가 학습한 피드포워드 집합과 횡방향 전이 확률을 조합함으로써 예측 정확도가 향상되었으며, 훈련된 시퀀스와 순열 간의 활성화 차이가 더 크게 관찰되었다.