[논문 리뷰] Structured Representation Learning using Structural Autoencoders and Hybridization

Felix Leeb, Yashas Annadani외 2명|arXiv (Cornell University)|2020. 06. 14.

Generative Adversarial Networks and Image Synthesis인용 수 3

한 줄 요약

이 논문은 자기지도 학습 방식으로 외부 감독이나 정규화 없이 타원적이고 인과적 구조를 가진 표현을 학습하기 위해 계층적 잠재 디코더와 향상된 샘플링 기법을 갖춘 새로운 구조적 오토인코더를 제안한다. 잠재 변수를 인과적 계층으로 모델링하고 간섭을 평가함으로써 자연 이미지 벤치마크에서 뛰어난 분리도와 생성 품질을 달성한다.

ABSTRACT

We study the problem of self-supervised structured representation learning using autoencoders for generative modeling. Unlike most methods which focus on using side information like weak supervision or defining new regularization objectives, we focus on improving the representation using a novel decoder architecture and an improved sampling technique. Our structural decoder architecture learns a hierarchy of latent variables, akin to structural causal models, and learns a natural ordering of the latent mechanisms without any additional regularization. We propose a novel framework to characterize the quality of the learned representation by applying interventions in the latent space and evaluating the effects to gain insight in the causal structure learned by the model which also enables us to quantify how disentangled the representation is. We evaluate our architecture and sampling method on several challenging natural image datasets and compare to several canonical baselines.

연구 동기 및 목표

• 약한 감독이나 정규화에 의존하지 않고 자기지도 학습 기반의 구조적 표현 학습을 향상시키는 것.
• 구조적 계층을 통해 잠재 메커니즘의 자연스러운 순서를 학습하는 디코더 아키텍처를 개발하는 것.
• 잠재 공간에서의 간섭 기반 평가를 통해 분리도와 인과적 구조를 정량화하는 것.
• 도전적인 자연 이미지 데이터셋에서 프레임워크를 평가하고 기존의 기준 기반 모델들과 비교하는 것.

제안 방법

• 구조적 인과 모델을 닮은 잠재 변수의 계층을 학습하는 구조적 디코더를 제안한다.
• 학습 안정성과 표현 품질 향상을 위한 새로운 샘플링 기법을 도입한다.
• 잠재 공간에서의 간섭 기반 분석을 통해 인과적 구조와 분리도를 평가한다.
• 잠재 메커니즘을 자연스러운 순서로 모델링함으로써 추가 정규화가 필요 없도록 한다.
• 오토인코더를 엔드 투 엔드로 훈련하기 위해 생성 모델링 목표를 사용한다.
• 간섭 효과를 통해 표현 품질을 평가함으로써 인과적 구조에 대한 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 측면 정보나 정규화 없이 자기지도 표현 학습에서 구조적이고 분리된 표현을 학습할 수 있는가?
• RQ2 계층적 디코더 아키텍처는 잠재 메커니즘의 순서를 자연스럽게 학습할 수 있는가?
• RQ3 간섭 기반 평가가 학습된 표현에 내장된 인과적 구조를 어느 정도 드러내는가?
• RQ4 제안된 프레임워크는 분리도와 생성 품질 측면에서 기존 기준 기반 모델들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 구조적 디코더는 추가 정규화 없이도 잠재 메커니즘의 자연스러운 순서를 학습한다.
• 간섭 기반 평가가 학습된 표현에 내장된 인과적 구조를 성공적으로 드러낸다.
• 기존 기준 기반 모델들과 비교해 자연 이미지 데이터셋에서 개선된 분리도와 생성 품질을 달성한다.
• 향상된 샘플링 기법이 학습 안정성과 표현 품질을 향상시킨다.
• 프레임워크를 통해 인과적 간섭 효과를 통해 분리도를 정량화할 수 있다.