[논문 리뷰] Topographic VAEs learn Equivariant Capsules

Timothy A. Keller, Max Welling|arXiv (Cornell University)|2021. 09. 03.

Image Processing and 3D Reconstruction참고 문헌 45인용 수 6

한 줄 요약

이 논문은 시간적 일관성 조건을 통해 비감독적 순차 데이터에서 정확히 등변성(approximately equivariant)인 캡슐 표현을 상위도적으로 조직화된 방식으로 학습하는 새로운 딥 생성 모델인 Topographic Variational Autoencoder (TVAE)를 제안한다. 변환된 입력 시퀀스(예: 기울인 또는 색상 이동된 MNIST 숫자)를 학습함으로써, 모델은 분리 가능한 등변성 특징을 발견하며, 추론 및 변환 연산자 간의 교환 법칙을 통해 일반화된 성능을 보이며 더 높은 우도 likelihood를 달성한다.

ABSTRACT

In this work we seek to bridge the concepts of topographic organization and equivariance in neural networks. To accomplish this, we introduce the Topographic VAE: a novel method for efficiently training deep generative models with topographically organized latent variables. We show that such a model indeed learns to organize its activations according to salient characteristics such as digit class, width, and style on MNIST. Furthermore, through topographic organization over time (i.e. temporal coherence), we demonstrate how predefined latent space transformation operators can be encouraged for observed transformed input sequences -- a primitive form of unsupervised learned equivariance. We demonstrate that this model successfully learns sets of approximately equivariant features (i.e. "capsules") directly from sequences and achieves higher likelihood on correspondingly transforming test sequences. Equivariance is verified quantitatively by measuring the approximate commutativity of the inference network and the sequence transformations. Finally, we demonstrate approximate equivariance to complex transformations, expanding upon the capabilities of existing group equivariant neural networks.

연구 동기 및 목표

• 새로운 인덕티브 바이어스를 도입하여 딥 생성 모델에서 상위도적 조직과 등변성 간의 갭을 메우는 것.
• 명시적 감독이나 경직된 대칭성 구조 없이 순차 데이터에서 약간의 등변성 캡슐 표현을 비감독적으로 학습할 수 있도록 하는 것.
• 시퀀스 내 시간적 일관성이 잠재 공간에서 상위도적 조직과 등변성을 유도할 수 있음을 보여주는 것.
• 학습된 표현이 변환에 대해 상대적 자세 구조를 유지함으로써, 새로운 조합의 변환에 일반화될 수 있음을 검증하는 것.
• 복합적인 비선형 변환(예: 색상과 회전의 조합 또는 투시 변환)을 학습함으로써 그룹 등변 네트워크의 능력을 확장하는 것.

제안 방법

• 모델는 입력 변환에 따라 공간적으로 구조화된 특징 활성화를 가지는 상위도적으로 조직화된 잠재 공간을 갖는 Variational Autoencoder (VAE)를 사용한다.
• 모델은 변환된 입력의 시계열을 시간 시리즈로 간주함으로써 시간적 일관성을 강제함으로써, 시간 단계 간에 잠재 표현이 부드럽고 천천히 변화하도록 유도한다.
• 핵심 혁신은 캡슐 차원 내에서 'Roll' 연산을 사용하여 변환 연산자(예: 회전)를 시뮬레이션하는 것으로, 이는 활성화를 캡슐 간에 이동시켜 시퀀스를 복원할 수 있도록 한다.
• 다양분성 라우팅 메커니즘을 통해 공유된 변환 연산자를 학습함으로써, 잠재 활성화를 관측된 입력 변환과 정렬한다.
• 추론 네트워크는 추론 연산자와 변환 연산자 간의 교환 법칙이 거의 성립하도록 학습되며, 교환 법칙 손실을 통해 등변성을 정량적으로 측정한다.
• 모델은 원형 및 인과적 컨볼루션을 모두 지원하여 시간 의존성이 있는 온라인 또는 스트리밍 환경에 적용 가능하다.

실험 결과

연구 질문

• RQ1 순차 데이터의 시간적 일관성이 딥 생성 모델의 잠재 공간에서 상위도적 조직과 등변성을 유도할 수 있는가?
• RQ2 상위도적 VAE는 명시적 감독 없이도 비감독적으로 순차 시퀀스에서 약간의 등변성 캡슐 표현을 학습할 수 있는가?
• RQ3 모델은 아키텍처 변경 없이도 새로운 조합의 변환(예: 색상과 회전의 조합)에 일반화되는가?
• RQ4 추론과 변환 연산자 간의 근사적인 교환 법칙을 통해 얼마나 정량적으로 등변성을 달성할 수 있는가?
• RQ5 모델은 완전히 비감독적으로 복잡한 비선형 변환(예: 투시 변환)을 학습할 수 있는가?

주요 결과

• TVAE는 MNIST 데이터에서 숫자 클래스, 너비, 스타일과 같은 주요 특징을 반영하는 상위도적으로 조직화된 잠재 표현을 성공적으로 학습한다.
• 복합적인 변환(예: 색상과 회전의 조합)을 포함한 테스트 시퀀스에서 기준 VAE보다 더 높은 우도를 달성한다.
• 정량적 평가를 통해 교환 법칙 손실을 통해 근사적인 등변성이 확인되었으며, 이는 추론 네트워크와 변환 연산자가 거의 교환 가능하다는 것을 보여준다.
• 아키텍처 변경 없이도 새로운 조합의 변환(예: 색상과 투시 변환)에 일반화되며, 이는 강건성과 분리 가능성의 증거이다.
• K가 캡슐 크기와 동일할 경우, 롤링 연산이 관측 공간에서 눈에 띄는 변화를 일으키지 않기 때문에 모델은 불변 표현을 학습한다.
• 캡슐 이동 결과는 초기 활성화를 롤링하여 전체 변환 시퀀스를 재구성할 수 있음을 보여주며, 복합적인 변환(예: 색상과 회전의 조합)에 대해서도 정확한 재구성이 가능하다.