[논문 리뷰] Convolutional Clustering for Unsupervised Learning

Ayşegül Dündar, Jonghoon Jin외 1명|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 22인용 수 73

한 줄 요약

이 논문은 컨볼루션 신경망의 계층 간에 필터 다양성과 희소한 구조적 연결을 강제하여 k-means 클러스터링을 향상시키는 비지도 학습 프레임워크인 컨볼루션 K-평균 클러스터링을 제안한다. 이 방법은 비지도 필터 학습 기법 중 최고 성능을 기록하며, 레이블이 최소한인 조건에서 STL-10에서 74.1%의 테스트 정확도와 MNIST에서 0.5%의 오차를 달성한다.

ABSTRACT

The task of labeling data for training deep neural networks is daunting and tedious, requiring millions of labels to achieve the current state-of-the-art results. Such reliance on large amounts of labeled data can be relaxed by exploiting hierarchical features via unsupervised learning techniques. In this work, we propose to train a deep convolutional network based on an enhanced version of the k-means clustering algorithm, which reduces the number of correlated parameters in the form of similar filters, and thus increases test categorization accuracy. We call our algorithm convolutional k-means clustering. We further show that learning the connection between the layers of a deep convolutional neural network improves its ability to be trained on a smaller amount of labeled data. Our experiments show that the proposed algorithm outperforms other techniques that learn filters unsupervised. Specifically, we obtained a test accuracy of 74.1% on STL-10 and a test error of 0.5% on MNIST.

연구 동기 및 목표

• 비지도 딥 러닝에서 필터의 중복을 줄이기 위해 k-means 클러스터링을 컨볼루션 필터 학습에 맞게 수정한다.
• 계층 간에 희소하고 구조적인 연결을 학습하여 비지도 특징 학습의 일반화 및 확장성 향상.
• 비지도 사전 훈련과 지도 학습 기반 연결 학습을 조합하여 레이블이 극히 적은 조건에서도 효과적인 딥 네트워크 훈련을 가능하게 한다.
• 디코딩 단계에서 데이터 화이트닝이 필요 없도록 하여 전처리 파이프라인을 단순화한다. 이는 사전 학습 단계에서만 적용된다.

제안 방법

• 필터 초기화 단계에서 공간적 다양성을 강제하여 중복된 이동 복사본을 학습하는 것을 방지하는 수정된 k-means 알고리즘을 제안한다.
• 원시 입력에서 계층적 특징을 추출하기 위해 계층적 다중층 아키텍처에서 컨볼루션 필터 학습을 적용한다.
• 다음 계층에 연결되는 특징 그룹을 선택적으로 연결하는 희소 연결 행렬을 도입하여 파라미터 중복을 줄인다.
• 다양한 계층의 표현을 연결하여 더 풍부하고 구분력 있는 특징 벡터를 형성하기 위해 다중 사전 접근 방식을 사용한다.
• 차원 감소 및 최종 분류기에서의 특징 계층 향상을 위해 ReLU 활성화 함수와 최대 풀링을 적용한다.
• 오버피팅을 방지하기 위해 드롭아웃 비율 0.5를 사용하는 두 층의 네트워크로 최종 분류기를 훈련한다. 특히 레이블 수가 적은 환경에서 효과적이다.

실험 결과

연구 질문

• RQ1 k-means 클러스터링을 비지도 딥 네트워크에서 비중복성이고 컨볼루션 적용이 가능한 필터를 학습할 수 있도록 수정할 수 있는가?
• RQ2 계층 간에 구조적이고 희소한 연결을 학습하면 비지도 딥 러닝 성능 향상에 기여하는가?
• RQ3 제안된 방법은 레이블이 극히 적은 조건에서도 기존 비지도 필터 학습 기법보다 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ4 인코딩 단계에서 데이터 화이트닝을 제거하면 성능이 떨어지는가, 아니면 안전하게 생략할 수 있는가?

주요 결과

• 제안된 컨볼루션 K-평균 클러스터링 방법은 STL-10 데이터셋에서 74.1%의 테스트 정확도를 달성하여 이전의 비지도 방법들을 능가했다.
• MNIST 데이터셋에서 모든 레이블 데이터를 사용했을 때, 방법은 단지 0.5%의 테스트 오차를 기록했으며, 경쟁하는 비지도 방법들보다 훨씬 낮았다.
• 단지 600개의 레이블 샘플만 사용했을 때, MNIST에서 2.8%의 분류 오차를 기록했으며, 비교된 모든 비지도 알고리즘을 능가했다.
• 두 층의 다중 사전 네트워크는 STL-10에서 71.4%의 정확도를 달성했으며, 이는 이전 연구들보다 파rameter 수가 약 10배 이상 적은 모델임에도 높은 성능을 보였다.
• 이 방법은 인코딩 단계에서 데이터 화이트닝이 필요 없음을 확인했으며, 이는 성능을 유지하면서도 파이프라인을 단순화시켰다.
• 계층 간에 희소하고 구조적인 연결을 통합함으로써 특징 표현 학습이 크게 향상되었으며, 특히 저 supervision 환경에서 두드러졌다.