[논문 리뷰] Learning Discrete Representations via Information Maximizing Self-Augmented Training

Weihua Hu, Takeru Miyato외 3명|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 172

한 줄 요약

IMSAT은 정보 극대화와 자체 증강 학습을 결합하여 데이터 증강을 통한 불변성을 강화함으로써 이산 표현을 학습하고, 최첨단 클러스터링 및 비감독 해 hashing 성능을 달성합니다.

ABSTRACT

Learning discrete representations of data is a central machine learning task because of the compactness of the representations and ease of interpretation. The task includes clustering and hash learning as special cases. Deep neural networks are promising to be used because they can model the non-linearity of data and scale to large datasets. However, their model complexity is huge, and therefore, we need to carefully regularize the networks in order to learn useful representations that exhibit intended invariance for applications of interest. To this end, we propose a method called Information Maximizing Self-Augmented Training (IMSAT). In IMSAT, we use data augmentation to impose the invariance on discrete representations. More specifically, we encourage the predicted representations of augmented data points to be close to those of the original data points in an end-to-end fashion. At the same time, we maximize the information-theoretic dependency between data and their predicted discrete representations. Extensive experiments on benchmark datasets show that IMSAT produces state-of-the-art results for both clustering and unsupervised hash learning.

연구 동기 및 목표

• 클러스터링 및 해시 학습을 위한 간결하고 해석 가능한 이산 표현의 학습 동기를 부여한다.
• 데이터 증강을 통해 불변성을 유도하기 위해 심층 네트워크를 정규화한다.
• 입력과 이산 표현 간의 정보를 최대화하면서 모델 복잡도를 제어한다.
• 대규모 데이터셋에 확장 가능한 엔드투엔드 학습을 제공한다.

제안 방법

• 깊은 신경망을 사용하여 다차원 이산 표현에 대해 Regularized Information Maximization (RIM)을 확장한다.
• 원본 데이터와 증강된 데이터의 표현 간 차이를 페널티하는 Self-Augmented Training (SAT)을 도입한다.
• 입력 x가 주어진 경우 조건부 독립성을 갖는 이산 출력 Y=(Y1,...,YM)를 pθ(y1,...,yM|x)=∏m pθ(ym|x)로 모델링한다.
• 분류기를 규제하고 엔트로피 항 H(Y)와 H(Y|X)를 포함시키면서 X와 Y 간의 상호정보를 최대화한다.
• 클러스터링의 경우 KL[pθ(y)||q(y)]≤δ 제약을 강제하여 사전 분포 q(y)와 클러스터 크기의 균일성 목표에 맞춘다.
• 해시 학습의 경우 정보량을 계산 가능한 이웃 간 상호작용 정보 확장으로 근사하여 정보를 주고 비중복인 비트를 촉진한다.
• 확장성을 위해 미니배치 친화적 근사를 제공한다.

실험 결과

연구 질문

• RQ1 정보 최대화를 갖춘 엔드투엔드 딥러닝 프레임워크가 감독 없이도 클러스터링과 해싱을 위한 효과적인 이산 표현을 학습할 수 있는가?
• RQ2 데이터 증강 기반 정규화(SAT)가 지정된 변환에 불변하는 표현을 만들어 비감독 학습 성능을 향상시키는가?
• RQ3 VAT 유사한 섭동을 다른 증강 전략과 사용할 때 클러스터링 및 해싱 품질에 어떤 영향이 있는가?
• RQ4 IMSAT가 대규모 데이터셋과 다양한 데이터 도메인(이미지, 텍스트 등)에 얼마나 잘 확장되는가?

주요 결과

• VAT 정규화를 적용한 IMSAT은 여덟 개 벤치마크 데이터세트에 걸쳐 강력한 클러스터링 성능을 달성하며, 종종 K-means, DEC, dAE+K-means와 같은 베이스라인을 능가한다.
• Omniglot에서 SAT에 어파인 변형을 도입하면 클러스터링 정확도가 크게 향상된다(예: VAT 24.0, 어파인 45.1, VAT+어파인 70.0).
• 해시 학습에서 VAT를 적용한 IMSAT은 16비트에서 경쟁력 있는 성능을 보이며, 더 큰 네트워크(예: 400-400)가 MNIST와 CIFAR10에서 강력한 성능을 보인다.
• 테이블 결과는 IMSAT (VAT)가 MNIST에서 98.4%의 클러스터링 정확도, Omniglot에서 24.0%, STL에서 94.1%, CIFAR10에서 45.6% 등을 달성하는 것을 나타낸다(다수의 베이스라인과 비교).
• 이 방법은 엔드투엔드 딥 표현과 SAT 기반 정규화의 이점을 얻어 선형 버전에 비해 성능이 향상되고 RPT 기반 버전보다도 이득을 보인다.