[논문 리뷰] Learning Sparse, Distributed Representations using the Hebbian Principle

Aseem Wadhwa, Upamanyu Madhow|arXiv (Cornell University)|2016. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 3

한 줄 요약

이 논문은 비용 함수 최적화 없이도 희박하고 분산된 표현을 학습할 수 있는 신경가소성 있는 비지도 학습 알고리즘인 적응형 헤프시안 학습(Adaptive Hebbian Learning, AHL)을 제안한다. AHL은 시냅스 수준 및 뉴런 수준의 경쟁을 통한 경쟁적 헤프시안 규칙을 사용한다. MNIST, NORB, CIFAR-10에서 AHL은 자동에코더와 비교해 우수하거나 유사한 분류 성능를 기록했으며, 수렴 속도는 훨씬 빠르고 하이퍼파라미터 조정도 최소화되었다.

ABSTRACT

The "fire together, wire together" Hebbian model is a central principle for learning in neuroscience, but surprisingly, it has found limited applicability in modern machine learning. In this paper, we take a first step towards bridging this gap, by developing flavors of competitive Hebbian learning which produce sparse, distributed neural codes using online adaptation with minimal tuning. We propose an unsupervised algorithm, termed Adaptive Hebbian Learning (AHL). We illustrate the distributed nature of the learned representations via output entropy computations for synthetic data, and demonstrate superior performance, compared to standard alternatives such as autoencoders, in training a deep convolutional net on standard image datasets.

연구 동기 및 목표

• 신경과학 기반의 헤프시안 학습과 실용적인 기계학습 사이의 격차를 메우기 위해 확장 가능하고 생물학적으로 타당한 비지도 학습 알고리즘을 개발하는 것.
• 명시적인 비용 함수 최적화에 의존하지 않고도 신경 코드의 바람직한 성질—희박성, 분산성, 비상관성—을 직접 강제로 구현하는 것.
• 경쟁을 통한 헤프시안 원칙이 표준 이미지 분류 벤치마크에서 경쟁 가능한 성능을 낼 수 있음을 보여주는 것.
• 딥 네트워크에서 비지도 사전 훈련을 위한 자동에코더의 빠르고 하이퍼파라미터 튜닝이 최소인 대안을 제공하는 것.

제안 방법

• AHL은 헤프시안 원칙에 기반한 온라인 가중치 갱신을 사용한다: '함께 활성화되면 함께 연결된다', 즉 동시 활성화된 전시냅스 및 후시냅스 뉴런 간의 연결을 강화한다.
• 후시냅스 뉴런 간의 경쟁은 희박성과 비상관성을 강제로 구현하여 출력 뉴런 간 상관관계를 감소시킨다.
• 전시냅스 입력 간의 시냅스 경쟁은 각 출력 뉴런당 활성화되는 입력의 수를 제한함으로써 분산 표현을 더욱 강화한다.
• 알고리즘은 활동에 따라 뉴런을 동적으로 모집 및 제거하는 적응형 임계값을 갖는 움직임-한 명이 승리하는 메커니즘을 사용한다.
• AHL은 깊이 있는 컨volutional 네트워크에서 계층별로 적용되며, 하향식으로 각 계층을 독립적으로 훈련한다.
• 분류 성능는 뒷단에 선형 SVM을 사용하여 AHL이 추출한 특징을 평가하며, 전체 경로의 역전파를 피한다.

실험 결과

연구 질문

• RQ1 경쟁적 헤프시안 학습은 현대 자동에코더 기반의 비지도 특징 학습과 비교해도 우수하거나 동등한 성능을 보이는 희박하고 분산된 표현을 생성할 수 있는가?
• RQ2 명시적인 비용 함수 최적화 없이도 생물학적으로 타당한 학습 규칙이 후속 분류 작업을 위한 효과적인 특징을 제공할 수 있는가?
• RQ3 시냅스 경쟁의 포함 여부가 학습된 표현의 비상관성과 엔트로피에 어떤 영향을 미치는가?
• RQ4 AHL은 최소한의 하이퍼파라미터 튜닝으로 자동에코더보다 더 빠른 수렴 속도와 더 높은 성능를 달성할 수 있는가?

주요 결과

• AHL은 MNIST, NORB, CIFAR-10에서 비지도 방법 중 최고 성능를 기록했으며, 미세 풀링을 결합한 경우 MNIST에서 0.82%의 오차율, NORB에서 2.52%의 오차율을 기록했다.
• CIFAR-10에서는 표준 CNN 아키텍처를 사용해 80%의 정확도를 달성했으며, 이는 이전의 비지도 방법들과 비교해 큰 특징 매핑을 사용한 결과와 유사했다.
• AHL은 자동에코더보다 수렴 속도가 훨씬 빠르며, CIFAR 레이어 2에서 AHL은 15 에포크, 희박 자동에코더는 74.8분이 소요되었다.
• 시냅스 경쟁 수준 $K_w = 3$가 $K_w = 1$보다 성능이 뛰어나, 더 분산된 표현이 성능 향상에 기여함을 확인했다.
• 세 번째 레이어만 사용할 경우 정확도가 급격히 떨어졌으며, 이는 고차원 레이어가 분류 기능 학습을 위해 레이블 정보를 보다 잘 활용함을 시사한다.
• AHL이 추출한 특징는 노이즈 제거 자동에코더보다 우수했으며, 희박 자동에코더와 비교해도 유사하거나 더 좋은 성능를 기록했으며, 이는 하이퍼파라미터 튜닝이 최소화된 상태에서도 성능가능성을 입증했다.