[논문 리뷰] A Winner-Take-All Method for Training Sparse Convolutional Autoencoders.

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|2014. 09. 09.

Face recognition and analysis참고 문헌 11인용 수 30

한 줄 요약

이 논문은 숨겨진 뉴런 간의 수명 기간 동안의 희박성과 특징 맵 내부의 공간적 희박성을 모두 강제하는 스파스 컨volution형 오토인코더를 훈련하기 위한 워너-테이크-all (WTA) 방법을 제안한다. 미니배치 통계와 WTA 활성화 함수를 조합함으로써, 비지도 학습 방식으로 이동 불변성과 계층적인 희박 표현을 학습하며, MNIST, CIFAR-10, ImageNet, SVHN 및 CelebA 데이터셋에서 경쟁적인 분류 성능을 달성한다.

ABSTRACT

In this paper, we propose a winner-take-all method for learning hierarchical sparse representations in an unsupervised fashion. We first introduce fully-connected winner-take-all autoencoders which use mini-batch statistics to directly enforce a lifetime sparsity in the activations of the hidden units. We then propose the convolutional winner-take-all autoencoder which combines the benefits of convolutional architectures and autoencoders for learning shift-invariant sparse representations. We describe a way to train convolutional autoencoders layer by layer, where in addition to lifetime sparsity, a spatial sparsity within each feature map is achieved using winner-take-all activation functions. We will show that winner-take-all autoencoders can be used to to learn deep sparse representations from the MNIST, CIFAR-10, ImageNet, Street View House Numbers and Toronto Face datasets, and achieve competitive classification performance.

연구 동기 및 목표

• 딥 신경망에서 계층적인 희박 표현을 학습하는 비지도 방법을 개발하는 것.
• 완전 연결 오토인코더 설정에서 미니배치 통계를 사용하여 은닉 뉴런 간의 수명 기간 희박성을 강제하는 것.
• WTA 접근 방식을 컨볼루션 아키텍처로 확장하여 이동 불변성 희박 특징을 학습하는 것.
• 워너-테이크-all 활성화 함수를 사용하여 각 특징 맵 내부의 공간적 희박성을 달성하는 것.
• 스parseness를 유지하면서 계층적으로 오토인코더를 훈련하고, 경쟁적인 후행 분류 성능를 달성하는 것.

제안 방법

• 이 방법은 각 특징 맵당 상위-k 활성화만 선택하는 워너-테이크-all 활성화 함수를 도입하여 공간적 희박성을 강제한다.
• 수명 기간 희박성은 훈련 배치 간 은닉 뉴런의 평균 활성도를 제약하는 미니배치 통계를 통해 강제된다.
• 오토인코더는 그레디한 방식으로 계층별로 훈련되며, 각 계층이 입력의 희박 표현을 학습한다.
• 컨볼루션 레이어를 사용하여 학습된 특징의 공간 계층성과 이동 불변성을 캡처한다.
• WTA 메커니즘은 각 국소 수용 영역에서 가장 활성도가 높은 뉴런만 작동하게 하여 희박하고 분산된 표현을 촉진한다.
• 훈련 목표는 미니배치 통계와 WTA 활성화 규칙에서 유도된 희박성 제약과 재구성 손실을 결합한 것이다.

실험 결과

연구 질문

• RQ1 워너-테이크-all 메커니즘은 깊이 있는 오토인코더에서 수명 기간과 공간적 희박성을 효과적으로 강제할 수 있는가?
• RQ2 WTA 기반 오토인코더는 비지도 방식으로 계층적이고 이동 불변성 있는 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 WTA 오토인코더는 MNIST 및 CIFAR-10과 같은 표준 벤치마크 데이터셋에서 성능가능한가?
• RQ4 WTA를 사용한 계층별 훈련 전략은 감독 없이도 경쟁적인 분류 결과를 도출할 수 있는가?
• RQ5 미니배치 통계와 WTA 활성화의 조합은 표현 학습을 어떻게 향상시키는가?

주요 결과

• 제안된 WTA 오토인코더는 MNIST, CIFAR-10, ImageNet, Street View House Numbers 및 Toronto Face 데이터셋에서 경쟁적인 분류 성능를 달성한다.
• 이 방법은 비지도 사전 훈련을 통해 깊이 있는 계층적이고 이동 불변성 있는 희박 표현을 효과적으로 학습한다.
• 워너-테이크-all 활성화 함수를 사용하여 각 특징 맵 내부의 공간적 희박성이 효과적으로 강제된다.
• 미니배치 통계를 통해 은닉 뉴런 간의 수명 기간 희박성이 유지되어 일반화 능력과 효율성이 향상된다.
• 계층별 훈련 절차는 깊이 있는 희박 특징의 안정적이고 확장 가능한 학습을 가능하게 한다.
• 사전 훈련 중에 명시적 감독이 없음에도 불구하고 모델은 뛰어난 성능를 보였다.