[논문 리뷰] Deep Variational Sufficient Dimensionality Reduction

Ershad Banijamali, Amir-Hossein Karimi외 1명|arXiv (Cornell University)|2018. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 6

한 줄 요약

이 논문은 분류를 위한 예측 정보를 유지하는 저차원 잠재 표현을 학습하는 딥 생성 모델인 딥 변동성 충분 차원 감소(DVSDR)를 제안한다. SDR를 변동 인자 자동에코더 프레임워크 내에서 재구성하고 공동 가능도의 하한을 최대화함으로써, DVSDR는 준감독 학습을 가능하게 하며, MNIST 및 패션-MNIST에서 경쟁력 있는 분류 정확도를 달성하면서도 고품질의 샘플을 생성할 수 있다.

ABSTRACT

We consider the problem of sufficient dimensionality reduction (SDR), where the high-dimensional observation is transformed to a low-dimensional sub-space in which the information of the observations regarding the label variable is preserved. We propose DVSDR, a deep variational approach for sufficient dimensionality reduction. The deep structure in our model has a bottleneck that represent the low-dimensional embedding of the data. We explain the SDR problem using graphical models and use the framework of variational autoencoders to maximize the lower bound of the log-likelihood of the joint distribution of the observation and label. We show that such a maximization problem can be interpreted as solving the SDR problem. DVSDR can be easily adopted to semi-supervised learning setting. In our experiment we show that DVSDR performs competitively on classification tasks while being able to generate novel data samples.

연구 동기 및 목표

• 고차원 관측치로부터 이산 레이블 변수에 대한 예측 정보를 모두 유지하는 저차원 잠재 공간을 학습하는 데 도전한다.
• 변동 추론을 사용하여 충분 차원 감소(SDR)를 딥 생성 모델에 통합하여 일반화 및 확장성 향상을 도모한다.
• 공통 잠재 공간을 통해 레이블이 없는 데이터를 활용하여 재구성과 분류를 모두 지원함으로써, 준감독 학습을 가능하게 한다.
• 학습된 잠재 공간의 사전 분포에서 샘플링하여 실제적인 새로운 데이터 샘플을 생성한다.
• 모델이 강력한 생성 능력을 유지하면서도 경쟁력 있는 분류 성능를 달성할 수 있음을 입증한다.

제안 방법

• 잠재 변수 z가 x와 y를 조건부 독립으로 만드는 확률적 그래픽 모델로 SDR를 정식화한다: y ⊥ x | z.
• 공동 분포 p(x, y)의 로그 가능도에 대한 변동 하한을 사용하며, 재구성 항과 KL 발산 항으로 분해한다.
• 딥 네ural 네트워크를 사용해 인코더 qϕ(z|x), 디코더 pθ(x|z), 분류기 pψ(y|z)를 매개변수화하여 엔드 투 엔드 학습을 가능하게 한다.
• p(z) = N(0, I)를 사용하여 변동 하한 Lϕ,θ,ψ(x,y) = E[log pθ(x|z)] + E[log pψ(y|z)] - KL(qϕ(z|x) || p(z))를 최대화한다.
• 레이블이 있는 데이터는 재구성과 분류를 모두 최적화하고, 레이블이 없는 데이터는 재구성만 최적화함으로써 준감독 학습에 적합하게 모델을 변형한다.
• 역전파를 위해 재구성 기법을 적용하고, z ~ p(z)에서 샘플링하여 x로 디코딩함으로써 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 변동 자동에코더 프레임워크는 SDR 설정에서 분류에 필요한 모든 정보를 유지하는 저차원 잠재 공간을 효과적으로 학습할 수 있는가?
• RQ2 기존의 딥 생성 모델인 VAE 및 AAE와 비교해 볼 때, 제안된 DVSDR 모델의 분류 정확도와 샘플 생성 품질은 어떠한가?
• RQ3 DVSDR은 레이블이 제한된 환경에서 준감독 학습 설정에서 레이블이 없는 데이터를 얼마나 효과적으로 활용하여 성능 향상을 이룰 수 있는가?
• RQ4 학습된 잠재 공간의 분리된 구조는 특정 클래스에 맞는 샘플 생성을 의미 있는 방식으로 가능하게 하는가?
• RQ5 낮은 차원의 표현에서 높은 재구성 품질을 유지하면서도 강력한 예측 성능를 달성할 수 있는가?

주요 결과

• DVSDR은 모든 레이블이 있는 샘플을 사용하여 MNIST에서 0.80 ± 0.04의 분류 오차율을 기록했으며, AAE(0.86 ± 0.03)와 VAE(0.96 ± 0.03)를 모두 능가했다.
• 단지 1,000개의 레이블 샘플만을 사용할 경우 AAE가 DVSDR보다 더 나은 성능을 보였으며, 이는 AAE의 잠재 공간에 대한 직접적 감독이 극도로 레이블이 부족한 상황에서 더 효과적일 수 있음을 시사한다.
• DVSDR은 사전 분포 p(z)에서 고품질의 이미지를 생성했으며, 잠재 공간에 혼합 정규분포를 피팅했을 때 명확한 클래스 간 분리가 관찰되었다.
• 2, 10, 15차원의 잠재 차원을 사용하여 MNIST 및 패션-MNIST 데이터셋에서 모두 효과적으로 재구성 및 샘플 생성을 수행했다.
• DVSDR의 준감독 변형은 레이블이 있는 데이터와 없는 데이터 간에 인코더와 디코더를 공유함으로써 레이블이 없는 데이터를 효과적으로 활용하여 표현 학습을 향상시켰다.
• 학습된 잠재 공간은 강력한 분리 성질을 보였으며, 피팅된 정규분포 혼합 모델의 서로 다른 성분에서 샘플링하여 특정 클래스에 맞는 샘플을 생성할 수 있었다.