[논문 리뷰] An Information-Theoretic Framework for Fast and Robust Unsupervised Learning via Neural Population Infomax

Wentao Huang, Kechen Zhang|arXiv (Cornell University)|2016. 11. 07.

Image and Signal Denoising Methods참고 문헌 46인용 수 5

한 줄 요약

이 논문은 대규모 신경 집단에 대한 샤논 상호정보량의 점근적 근사법을 사용한 신경 집단 인포맥스 기반의 빠르고 강건한 비지도 표현 학습 프레임워크를 제안한다. 계층적 인포맥스 초기화와 기울기 기반 최적화를 활용함으로써, 이 방법은 고차원 데이터로부터 완전, 과도, 과소 기저를 효율적으로 학습하며, 기존 방법보다 약 한 계급 빠른 수렴 속도를 달성하면서도 자연 이미지 및 MNIST 숫자와 같은 다양한 데이터셋에서 강건성을 유지한다.

ABSTRACT

A framework is presented for unsupervised learning of representations based on infomax principle for large-scale neural populations. We use an asymptotic approximation to the Shannon's mutual information for a large neural population to demonstrate that a good initial approximation to the global information-theoretic optimum can be obtained by a hierarchical infomax method. Starting from the initial solution, an efficient algorithm based on gradient descent of the final objective function is proposed to learn representations from the input datasets, and the method works for complete, overcomplete, and undercomplete bases. As confirmed by numerical experiments, our method is robust and highly efficient for extracting salient features from input datasets. Compared with the main existing methods, our algorithm has a distinct advantage in both the training speed and the robustness of unsupervised representation learning. Furthermore, the proposed method is easily extended to the supervised or unsupervised model for training deep structure networks.

연구 동기 및 목표

• 비지도 표현 학습을 위한 대규모 신경 집단에서 샤논 상호정보량 최적화의 계산 불가능성을 해결하기 위해.
• 기존의 인포맥스 기반 방법들이 입력과 출력 차원이 동일해야 하거나 수렴 속도가 느린 등의 한계를 극복하기 위해.
• 고차원 데이터로부터 완전, 과도, 과소 기저를 학습할 수 있는 확장 가능하고 강건하며 효율적인 알고리즘 개발을 위해.
• 제안된 비지도 표현 학습 프레임워크를 사용해 딥 네트워크의 빠르고 안정적인 훈련을 가능하게 하기 위해.
• 실세계 데이터셋, 예를 들어 자연 이미지 패치와 MNIST 수기 숫자에 대한 방법의 효과성을 입증하기 위해.

제안 방법

• 대규모 N 근접에서 자극과 신경 집단 반응 간의 상호정보량(MI)에 대한 점근적 근사법을 사용하여, 최적화가 가능하도록 한다.
• 최적화 문제의 고품질 초기 해를 생성하기 위해 계층적 인포맥스 접근법을 적용함으로써 수렴 안정성을 향상시킨다.
• 점근적 MI 근사에서 유도된 최종 목표 함수에 기울기 하강법을 적용하여 표현 파라미터를 정밀하게 조정한다.
• 가중치 행렬의 질량을 조정하고 반응 행렬의 저질량 근사법을 사용함으로써, 완전, 과도, 과소 기저의 학습을 지원한다.
• 포isson 스파iking 뉴런 모델과 같은 실제 생물학적 제약 조건을 통합하여 신경생물학적 타당성을 확보한다.
• 학습된 표현을 더 깊은 아키텍처에 통합함으로써, 이 알고리즘이 지도 학습 및 딥 네트워크 훈련으로 확장 가능하도록 한다.

실험 결과

연구 질문

• RQ1 상호정보량의 점근적 근사법이 대규모 신경 집단에서 효율적이고 확장 가능한 비지도 표현 학습을 가능하게 할 수 있는가?
• RQ2 계층적 인포맥스 초기화는 비볼록 상호정보량 최대화 문제에서 기울기 기반 최적화의 수렴성과 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 방법은 레이블이 없는 조건에서도 자연 이미지 패치에서 의미 있는 가보르 유사 필터를 학습할 수 있는가?
• RQ4 기존 비지도 학습 기준인 ICA, MBDL, SRBM와 비교해 본다면, 이 방법의 훈련 속도와 수렴 성능는 어떠한가?
• RQ5 이 방법은 과도 표현과 MNIST, 자연 이미지 패치와 같은 고차원 데이터셋으로의 일반화 능력이 어느 정도까지 가능할 수 있는가?

주요 결과

• 제안된 방법은 자연 이미지 패치와 MNIST 데이터셋 양쪽에서 IICA, FICA, MBDL, SRBM와 같은 기존 방법보다 약 한 계급 빠른 수렴 속도를 달성했다.
• 이 방법은 자연 이미지 패치에서 가보르 유사 필터와 기저를 성공적으로 학습하였으며, 더 큰 필터 크기는 작은 노이즈 유사 구조의 효과적인 억제를 나타냈다.
• MNIST 데이터셋의 경우, 1024개의 입력 패치에서 183개의 의미 있는 기저 벡터를 학습하였으며, 수기 숫자의 주요 특징을 반영하고 있었다.
• 이미지 노이즈 제거 실험에서, 이 방법은 단지 14개의 기저를 사용해 100개 기저를 사용한 딕셔너리 학습보다 우수한 성능을 보였으며, 노이즈가 있는 패치에서 재구성 오차 노름이 23.48로 나타났다.
• 이 방법은 하이퍼파ram터 변화에 대해 강건성을 보였으며, 특히 학습률 파rameter $v_1$ 에서 일관된 빠른 수렴이 유지되었다.
• 이 프레임워크는 대규모 과도 표현을 지원하며, 출력 유닛 수가 입력 수를 크게 초월하는 경우도 가능하다—기존 대부분의 모델과는 달리.