[논문 리뷰] Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations

Guo-Jun Qi, Liheng Zhang외 1명|arXiv (Cornell University)|2019. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 인코딩된 이미지 표현에서 적용된 변환을 복원함으로써 일반화된 변환 등장 표현(GTERs)을 학습하기 위해 AutoEncoding Transformations(AET)과 Autoencoding Variational Transformations(AVT)을 제안한다. 이 방법은 종단간 훈련을 통해 복잡한 비선형 변환 등장성을 포착함으로써 비지도 및 준지도 학습에서 최신 기술을 초월한다.

ABSTRACT

Transformation Equivariant Representations (TERs) aim to capture the intrinsic visual structures that equivary to various transformations by expanding the notion of {\em translation} equivariance underlying the success of Convolutional Neural Networks (CNNs). For this purpose, we present both deterministic AutoEncoding Transformations (AET) and probabilistic AutoEncoding Variational Transformations (AVT) models to learn visual representations from generic groups of transformations. While the AET is trained by directly decoding the transformations from the learned representations, the AVT is trained by maximizing the joint mutual information between the learned representation and transformations. This results in Generalized TERs (GTERs) equivariant against transformations in a more general fashion by capturing complex patterns of visual structures beyond the conventional linear equivariance under a transformation group. The presented approach can be extended to (semi-)supervised models by jointly maximizing the mutual information of the learned representation with both labels and transformations. Experiments demonstrate the proposed models outperform the state-of-the-art models in both unsupervised and (semi-)supervised tasks.

연구 동기 및 목표

• 군 등장 컨볼루션 신경망의 제한점을 해결하기 위해, 이는 이산적이고 선형적인 변환에 국한되며 복잡한 연속적 또는 비선형 변환으로 일반화하지 못한다는 점이다.
• 아핀, 투사, 동형 변환을 포함한 임의의 변환군에 대해 등장하는 시각적 표현을 학습하기 위한 유연하고 확장 가능한 프레임워크를 개발하기 위해이다.
• 표현과 변환 및 레이블 간의 상호정보를 동시에 최대화하여 준지도 및 지도 학습 설정으로 접근을 확장하기 위해이다.
• 표현에서 변환을 재구성하는 것의 학습이 표준 데이터 자동에코 또는 데이터 증강보다 더 강력하고 일반화 능력이 뛰어난 특징을 만들어내는가를 입증하기 위해이다.

제안 방법

• 기본 이미지 및 변환된 이미지의 표현에서 적용된 변환을 복원하는 디코더를 갖춘 자동에코 스타일 아키텍처인 AutoEncoding Transformations(AET)를 제안한다.
• 표현과 변환 간의 상호정보를 변분 하한을 통해 최대화하는 확률적 변종인 Autoencoding Variational Transformations(AVT)를 도입한다.
• AVT에서 불가항력적인 상호정보 최대화를 근사하기 위해 서브스티튜션 변환 디코더를 사용하며, 이는 변분 하한을 통한 종단간 훈련을 가능하게 한다.
• 표현과 레이블, 변환 양쪽 모두와의 상호정보 최대화를 동시에 최적화하는 (준)지도 자동에코 변환(SAT) 모델을 통해 프레임워크를 (준)지도 학습으로 확장한다.
• 입력 이미지와 변환된 이미지에 공통된 인코더를 사용하여 표현의 변화가 적용된 변환과 일치하도록 하여 등장성 조건을 강제한다.
• 변환 공간의 저차원 성격을 활용하여 효율적이고 얕은 디코더를 구현함으로써 역전파와 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 데이터 자동에코보다 변환 재구성에 의한 자동에코가 더 강력하고 일반화 능력이 뛰어난 시각적 표현을 만들어내는가?
• RQ2 제안된 AET 및 AVT 프레임워크가 선형, 이산 군을 초월하여 연속적 또는 비선형 변환까지 포함한 일반화된 변환 등장 표현을 학습할 수 있는가?
• RQ3 SAT에서 변환과 레이블 정보를 동시에 모델링하면, 표준 데이터 증강 또는 엔트로피 최소화 기반 방법에 비해 준지도 학습 성능을 어떻게 향상시키는가?
• RQ4 학습된 표현이 투사 왜곡과 같은 복잡한 시각적 구조를 얼마나 잘 포착하는가?
• RQ5 제안된 방법이 비지도 및 준지도 이미지 분류 벤치마크에서 기존 최신 기술을 모두 능가하는가?

주요 결과

• SAT 모델은 4,000개의 레이블이 있는 동일한 설정에서 CIFAR-10에서 테스트 오차율 11.05%를 기록하며, 동일한 조건에서 27.99%를 기록한 데이터 증강 기반 변환(DAT) 기준보다 뚜렷이 뛰어나다.
• 엔트로피 최소화 없이도 SAT 모델은 Mean Teacher, Temporal Ensembling, Π-model과 같은 최신 준지도 방법을 능가하며, 그 우수성과 강건성을 입증한다.
• AET 및 AVT 모델은 변환 재구성으로 인해 복잡한 시각적 구조를 포착함으로써 비지도 표현 학습에서 표준 자동에코 및 군 등장 컨볼루션 신경망을 능가하는 성능을 달성한다.
• 절단 분석 결과, 엔트로피 최소화 유무에 관계없이 SAT 모델이 VAT(Virtual Adversarial Training)를 항상 능가함을 확인하여 변환 등장 특징 학습의 우수성을 입증한다.
• 이 방법은 작업 간 일반화 능력이 뛰어나며, 세그멘테이션, 객체 검출, 슈퍼레졸루션, 희소 학습, 세부 분류 등 다양한 응용 분야에 활용 가능성이 있다.
• AVT 변종은 변분 하한을 사용하여 불가항력적인 상호정보 최대화를 효과적으로 처리함으로써 안정적인 훈련과 효과적인 표현 학습을 가능하게 한다.