[논문 리뷰] Structural Autoencoders Improve Representations for Generation and Transfer.

Felix Leeb, Yashas Annadani외 2명|arXiv (Cornell University)|2020. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 8

한 줄 요약

이 논문은 자기주의 주의(self-attention)와 계층적 설계를 사용하여 인코더 및 디코더 아키텍처를 명시적으로 구조화함으로써 표현 학습을 향상시키는 구조적 오토인코더를 제안한다. 이 방법은 감독 학습이나 보조 신호 없이도 분리된, 인과적으로 순서가 지정된 잠재 표현을 학습하여 다양한 이미지 데이터셋에서 생성, 분리성, 전이 학습 성능을 크게 향상시킨다.

ABSTRACT

We study the problem of structuring a learned representation to significantly improve performance without supervision. Unlike most methods which focus on using side information like weak supervision or defining new regularization objectives, we focus on improving the learned representation by structuring the architecture of the model. We propose a self-attention based architecture to make the encoder explicitly associate parts of the representation with parts of the input observation. Meanwhile, our structural decoder architecture encourages a hierarchical structure in the latent space, akin to structural causal models, and learns a natural ordering of the latent mechanisms. We demonstrate how these models learn a representation which improves results in a variety of downstream tasks including generation, disentanglement, and transfer using several challenging and natural image datasets.

연구 동기 및 목표

• 약한 감독이나 정규화에 의존하지 않고 모델 아키텍처를 구조화함으로써 비지도 표현 학습을 향상시키는 것.
• 자기주의 주의 인코더를 통해 입력 관측치와 잠재 표현 간의 명시적 부분 간 연결을 가능하게 하는 것.
• 잠재 공간에서 구조적 인과 모델을 닮은 계층적이고 인과적으로 순서가 지정된 구조를 학습하는 것.
• 생성, 분리성, 전이 학습 작업에서의 최종 성능을 향상시키는 것.
• 어려운 자연 이미지 데이터셋에서 아키텍처 구조화의 효과를 입증하는 것.

제안 방법

• 인코더는 입력의 부분과 잠재 표현의 해당 부분을 명시적으로 연결하기 위해 자기주의 주의를 사용한다.
• 디코더는 잠재 메커니즘의 자연스러운 순서를 학습하는 계층적 아키텍처를 채택한다.
• 잠재 공간에 구조적 인도적 편향을 강제하면서 입력 데이터를 재구성하는 방식으로 모델을 오토인코더로 훈련시킨다.
• 잠재 요소 간의 인과적 의존성을 장려함으로써 구조적 인과 모델을 모방하는 아키텍처를 설계한다.
• 약한 감독이나 외부 정규화를 필요로 하지 않으며, 오직 아키텍처 설계에 의존한다.
• 생성, 분리성, 전이 성능 평가를 위해 다수의 이미지 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 감독 없이 오토인코더의 아키텍처를 구조화함으로써 표현 품질을 향상시킬 수 있는가?
• RQ2 입력 부분과 잠재 부분을 연결하는 자기주의 주의 인코더는 더 나은 분리성을 이끌어내는가?
• RQ3 계층적 디코더 아키텍처는 잠재 메커니즘의 자연스러운 순서를 학습할 수 있는가?
• RQ4 구조화된 표현은 최종 생성 및 전이 성능를 어떻게 향상시키는가?
• RQ5 이 방법은 다양한 어려운 이미지 데이터셋에 일반화되는가?

주요 결과

• 제안된 구조적 오토인코더는 분리된, 인과적으로 순서가 지정된 표현을 학습하여 최종 성능을 향상시킨다.
• 약한 감독이나 정규화를 사용하지 않아도 표현 품질에서 최신 기준 성능을 달성한다.
• 계층적 디코더 아키텍처는 더 나은 분리성과 더 해석 가능한 잠재 요소를 가능하게 한다.
• 의미 있고 구조화된 표현을 학습함으로써 자연 이미지 데이터셋에서 생성 품질을 향상시킨다.
• 구조화되고 분리된 잠재 공간 덕분에 강력한 전이 학습 성능을 보여준다.
• 결과는 여러 어려운 이미지 데이터셋에서 일관되며 일반화 능력을 확인한다.