[논문 리뷰] Inducing Interpretable Representations with Variational Autoencoders

N. Siddharth, Brooks Paige외 6명|arXiv (Cornell University)|2016. 11. 22.

Topic Modeling참고 문헌 11인용 수 7

한 줄 요약

이 논문은 변분 오토인코더(VAE)의 인식 네트워크에 구조적 그래픽 모델을 통합하여 분리되고 해석 가능한 잠재 표현을 유도하는 프레임워크를 제안한다. 근사 변분 추론과 구조적 사후분포를 사용하고, 적은 수의 레이블이 있는 반감독 학습을 통해 최신 기술 수준의 분류 정확도를 달성하며, 시각적 유사성과 정량적 오차 감소를 통해 명확한 분리가 이루어짐을 보여준다.

ABSTRACT

We develop a framework for incorporating structured graphical models in the \emph{encoders} of variational autoencoders (VAEs) that allows us to induce interpretable representations through approximate variational inference. This allows us to both perform reasoning (e.g. classification) under the structural constraints of a given graphical model, and use deep generative models to deal with messy, high-dimensional domains where it is often difficult to model all the variation. Learning in this framework is carried out end-to-end with a variational objective, applying to both unsupervised and semi-supervised schemes.

연구 동기 및 목표

• 고차원의 감각 데이터에서 해석 가능하고 분리된 표현을 학습하는 데 도전하는 것.
• 유연하고 제약이 없는 근사 사후분포로 인해 잠재 변수가 해석 불가능해지는 표준 VAE에서의 얽힘 문제를 해결하는 것.
• 변분 추론을 사용하여 구조적 잠재 공간을 가진 딥 생성 모델의 엔드 투 엔드 학습을 가능하게 하는 것.
• 작은 수의 레이블 예시가 구조적 추론과 결합될 경우, 잠재 표현을 효과적으로 분리할 수 있는지 확인하는 것.
• 구조적 잠재 공간과 그에 해당하는 추론 네트워크를 지닌 딥 생성 모델을 지정하기 위한 유연하고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 표준 정규 근사값을 대체하여, VAE의 인식 네트워크(추론 모델)로 구조적 그래픽 모델을 통합한다.
• 생성 모델 $p_\theta(\mathbf{x}, \mathbf{z})$ 와 인식 모델 $q_\phi(\mathbf{z}|\mathbf{x})$ 를 동시에 최적화하기 위해 단일 변분 목표 함수를 사용한다.
• 증강된 백프로파게이션을 적용하여 기댓값 하한값(ELBO)을 최적화함으로써, 확률적 노드를 통한 백프로파게이션을 허용하는 엔드 투 엔드 학습을 가능하게 한다.
• 학습 안정성과 성능 향상을 위해 인식 네트워크에 플러그인 추정기를 사용한다.
• 레이블된 데이터를 재샘플링하기 위한 감독 비율을 도입하여, 최소한의 레이블 데이터로도 효과적인 반감독 학습을 가능하게 한다.
• 구조적 잠재 공간을 가진 딥 생성 모델과 그에 해당하는 추론 네트워크를 간편하게 지정하기 위해 커스텀 토치 패키지를 활용한다.

실험 결과

연구 질문

• RQ1 VAE의 인코더에 구조적 그래픽 모델을 적용할 경우, 분리되고 해석 가능한 잠재 표현을 생성할 수 있는가?
• RQ2 소수의 레이블 예시만 존재할 경우, 이 프레임워크는 반감독 학습에서 얼마나 효과적인가?
• RQ3 개별 잠재 변수를 조작함으로써 의미 있는 시각적 유사성을 생성할 수 있는가? 이는 분리의 정도를 나타낸다.
• RQ4 분류 정확도 측면에서, 이전 최신 기술 수준의 접근 방식인 Kingma 등 [7]과 비교해 본다면, 제안된 방법의 성능는 어떠한가?
• RQ5 감독 비율이 최소한의 레이블 데이터로도 표현의 분리 능력에 얼마나 영향을 미치는가?

주요 결과

• MNIST 데이터셋에서, 동일한 아키텍처와 학습 설정을 사용할 경우, 클래스당 100개의 레이블 예시로 테스트 오차율 4.23%를 달성하였으며, 이는 기준 모델 'M2'(3.60% 오차)를 뛰어넘는 성능이다.
• SVHN 데이터셋에서, 클래스당 300개의 레이블 예시로 테스트 오차율 23.98%를 달성하였으며, 이는 'M1+M2' 기준 모델(36.02% 오차)을 크게 앞서는 성능이다.
• 클래스당 10개의 레이블 예시와 1%의 감독 비율을 사용할 경우, 감독 없이 학습한 경우에 비해 오차율이 50% 이상 감소하여, 매우 높은 샘플 효율성을 보였다.
• 그림 3의 시각적 유사성은 레이블 변수 $l$ 만을 변경할 경우 숫자 종류가 바뀌지만 스타일은 유지되며, 스타일 변수 $n$ 을 변화시킬 경우 손글씨 스타일만 변하고 숫자 정체성은 유지됨을 보여주며, 이는 분리가 정확히 이루어졌음을 확인한다.
• 낮은 감독 비율에서 조차도, 단지 10개의 레이블 예시만으로도 오차율이 급격히 감소함으로써, 최소한의 감독으로도 효과적인 분리가 가능함을 보여주었다.
• 반감독 설정 하에서 MNIST와 SVHN 양쪽 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정량적 정확도와 정성적 분리 정도 양면에서 이전 접근 방식보다 일관되게 향상된 성능을 보였다.