[논문 리뷰] AVT: Unsupervised Learning of Transformation Equivariant Representations by Autoencoding Variational Transformations

Guo-Jun Qi, Liheng Zhang외 2명|arXiv (Cornell University)|2019. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 변환과 이미지 표현 간 상호정보를 변분 추론을 통해 최대화하여 변환 등장성 특징을 학습하는 새로운 비지도 표현 학습 방법 AVT를 제안한다. 근거로 변환 복원 모델을 도입함으로써 계산이 불가능한 사후 분포를 근사함으로써 AVT는 이전 비지도 모델들을 능가하며 ImageNet 및 Places 데이터셋에서 지도 학습 기준선까지의 성능 격차를 11% 이상 줄였다.

ABSTRACT

The learning of Transformation-Equivariant Representations (TERs), which is introduced by Hinton et al. \cite{hinton2011transforming}, has been considered as a principle to reveal visual structures under various transformations. It contains the celebrated Convolutional Neural Networks (CNNs) as a special case that only equivary to the translations. In contrast, we seek to train TERs for a generic class of transformations and train them in an {\em unsupervised} fashion. To this end, we present a novel principled method by Autoencoding Variational Transformations (AVT), compared with the conventional approach to autoencoding data. Formally, given transformed images, the AVT seeks to train the networks by maximizing the mutual information between the transformations and representations. This ensures the resultant TERs of individual images contain the {\em intrinsic} information about their visual structures that would equivary {\em extricably} under various transformations in a generalized {\em nonlinear} case. Technically, we show that the resultant optimization problem can be efficiently solved by maximizing a variational lower-bound of the mutual information. This variational approach introduces a transformation decoder to approximate the intractable posterior of transformations, resulting in an autoencoding architecture with a pair of the representation encoder and the transformation decoder. Experiments demonstrate the proposed AVT model sets a new record for the performances on unsupervised tasks, greatly closing the performance gap to the supervised models.

연구 동기 및 목표

• 보편적인 변환에 대해 이동 등장성 이외의 일반화된 표현 학습 프레임워크를 개발하는 것.
• 정보 이론을 활용하여 변환과 표현 간 상호정보를 사용해 변환 등장성을 학습 목표로 공식화하는 것.
• 직접적인 상호정보 최대화의 계산이 불가능한 문제를 변분 하한과 변환 복원 모델을 도입하여 효율적으로 근사하는 것.
• 이미지 재구성 세부 사항에 과적합되지 않도록 내재된 시각적 구조를 유지하면서 표현을 학습하는 것.
• 표준 벤치마크에서 비지도 및 지도 표현 학습 간 성능 격차를 줄이는 것.

제안 방법

• AVT는 변환과 이미지 표현 간 상호정보를 최대화하는 방식으로 표현 학습을 공식화하여 일반적인 변환 클래스에 대해 등장성을 보장한다.
• 표현에 주어진 변환의 계산이 불가능한 사후 분포를 근사하기 위해 변분 하한을 도입함으로써 미분 가능한 학습을 가능하게 한다.
• 이중 스트림 아키텍처를 활용한다: 표현 인코더는 변환된 이미지를 처리하고, 변환 복원 모델은 표현에서 변환을 재구성한다.
• 변분 하한을 최적화하여 종합적으로 학습함으로써 표현이 변환 재구성에 필요한 정보만 유지하도록 유도한다.
• 이 방법은 데이터 재구성에 대한 강력한 가정을 피하고, 반대로 변환 예측을 위한 최소한이면서 정보가 풍부한 표현 학습에 집중한다.
• 정보 이론 원리를 활용하여 선형 변환 등장성 네트워크를 비선형 변환으로 일반화한다.

실험 결과

연구 질문

• RQ1 표현과 변환 간 상호정보 최대화가 일반적인 변환 등장성 특징의 효과적인 비지도 학습을 가능하게 하는가?
• RQ2 딥 러닝 프레임워크 내에서 계산이 불가능한 상호정보 최대화 문제를 효율적으로 근사할 수 있는가?
• RQ3 이미지가 아닌 변환을 재구성하는 것이 더 나은, 더 일반화된 표현을 이끌어내는가?
• RQ4 이러한 표현 학습 방법이 하류 작업에서 지도 모델과의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법이 이동 외에도 왜곡 및 사영 변환과 같은 복잡한 비선형 변환으로 일반화될 수 있는가?

주요 결과

• ImageNet에서 AVT는 Conv5에서 Top-1 정확도 22.3%를 기록하여 이전 최신 기술인 AET-project를 1.5% 뛰어넘었으며, 완전히 지도 학습 기준선까지의 격차를 5.5%로 줄였다.
• CIFAR-10에서 AVT는 Conv5에서 선형 분류기로 Top-1 정확도 44.4%를 달성하여 이전 최신 기술인 AET-project를 3.1% 뛰어넘었다.
• Places 데이터셋에서 AVT는 Conv5에서 Top-1 정확도 35.6%를 기록하여 비지도 모델 중 두 번째로 높은 성능을 기록했으며, 이는 이전 비지도 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 다양한 레이어(C1에서 C5까지)에 걸쳐 일관된 성능 향상이 관찰되어 학습된 특징의 강건성과 일반화 능력을 입증했다.
• 이전 최신 기술 대비 AVT는 Conv4에서 성능 격차를 15% 줄였고, Conv5에서는 11% 줄였다. 이는 뛰어난 일반화 능력을 시사한다.
• 제거 분석 결과, AVT의 변환 재구성에 집중한 방식은 데이터 재구성 기반 오토인코더보다 더 컴act하고 정보가 풍부한 표현을 생성함을 보여주었다.