[논문 리뷰] Semi-Supervised Learning with Deep Generative Models

Diederik P. Kingma, Danilo Jimenez Rezende외 2명|UvA-DARE (University of Amsterdam)|2014. 06. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 1,521

한 줄 요약

이 논문은 변분 추론을 활용하여 모델 및 추론 파라미터를 동시에 최적화함으로써, 소수의 레이블된 예시만으로도 확장 가능하고 정확한 분류를 가능하게 하는 딥 생성 모델을 제안한다. 이 방법은 데이터 밀도를 모델링하고 클래스 조건부 콘텐츠를 스타일 변동성에서 분리함으로써 SVHN 및 MNIST와 같은 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

The ever-increasing size of modern data sets combined with the difficulty of obtaining label information has made semi-supervised learning one of the problems of significant practical importance in modern data analysis. We revisit the approach to semi-supervised learning with generative models and develop new models that allow for effective generalisation from small labelled data sets to large unlabelled ones. Generative approaches have thus far been either inflexible, inefficient or non-scalable. We show that deep generative models and approximate Bayesian inference exploiting recent advances in variational methods can be used to provide significant improvements, making generative approaches highly competitive for semi-supervised learning.

연구 동기 및 목표

• 레이블된 데이터는 부족하지만 비레이블된 데이터는 풍부한 준지도 학습의 과제를 해결하기 위해.
• 딥 생성 모델과 근사 베이지안 추론을 융합한 확장 가능하고 확률론적 프레임워크를 개발하여 일반화 성능을 향상시키기 위해.
• 이전 생성 모델 접근법의 한계, 즉 유연성 부족, 효율성 낮음, 확장성 부족 문제를 극복하기 위해.
• 레이블된 데이터만으로는 불가능한 결론 경계 향상을 위해 데이터 밀도 정보를 효과적으로 활용하기 위해.
• 모델 및 변분 파라미터의 공동 최적화를 통한 통합된 생성 모델을 사용하여 표준 벤치마크에서 최신 기술 성능을 입증하기 위해.

제안 방법

• 모델은 데이터를 표현하기 위해 잠재 변수 z를 사용하는 딥 생성 아키텍처를 사용하며, x는 z와 클래스 레이블 y로부터 생성된다.
• 진짜 사후분포 p(z|x,y)를 근사하기 위해 변분 추론 프레임워크를 적용하며, 추론 네트워크(인식 모델)를 사용해 q(z|x,y)를 추정한다.
• 스토캐스틱 변분 추론을 적용하여 모델 파라미터 θ와 변분 파라미터 φ를 동시에 최적화함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 모델은 레이블된 데이터와 비레이블된 데이터를 모두 포함하는 변분 하한(ELBO)을 사용하여 훈련되며, 모델 하에서 관측된 데이터의 로그우도를 최대화한다.
• 공통 밀도 p(x,y,z)를 모델링하고 z에 대한 사후분포를 사용함으로써 인덕티브 및 트랜스ductive 학습을 모두 지원한다.
• 다른 클래스 간에 잠재 코드 z를 조작함으로써 유사성 추론을 가능하게 하여, 분리된 표현 학습을 보여주는 방법을 제공한다.

실험 결과

연구 질문

• RQ1 확장 가능한 근사 베이지안 추론을 갖춘 딥 생성 모델이 준지도 학습에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 생성 모델이 비레이블된 데이터를 효과적으로 활용하여 지도 학습 기반 모델을 초월해 분류 성능을 향상시킬 수 있는가?
• RQ3 변분 추론이 딥 생성 모델의 모델 및 추론 파라미터를 공동 최적화하기 위해 준지도 학습에 효과적으로 적용될 수 있는가?
• RQ4 학습된 표현이 클래스 조건부 콘텐츠를 내부 클래스 변동성(예: 스타일)에서 얼마나 잘 분리하는가?
• RQ5 비레이블된 데이터의 양이 증가함에 따라, 레이블된 예제의 수가 변화할 때 모델 성능은 어떻게 변화하는가?

주요 결과

• 1,000개의 레이블된 예시만을 사용하여 SVHN 데이터셋에서 제안된 방법은 생성된 특징에 대해 KNN을 적용했을 때 테스트 정확도 77.93%를 달성했으며, 표준 KNN 및 TSVM 기반 모델을 능가했다.
• 1,000개의 레이블된 예시를 사용하여 NORB 데이터셋에서 제안된 방법은 생성 모델의 특징에 대해 KNN을 적용했을 때 테스트 정확도 78.71%를 기록했으며, 기반 KNN 및 TSVM 모델을 크게 능가했다.
• 이 방법은 표준 준지도 학습 벤치마크 작업에서 최신 기술 성능을 보였으며, 딥 아키텍처와 변분 추론을 결합한 생성 모델이 분류 기반 접근법과 경쟁 가능함을 입증했다.
• 정성적 분석 결과, 모델은 분리된 표현을 학습하는 것으로 나타났으며, 잠재 변수 z는 스타일 변동성을 캡처하고 클래스 레이블 y는 콘텐츠를 제어함으로써 클래스 간에 이미지 유사성 생성이 가능했다.
• 스토캐스틱 변분 추론 알고리즘이 모델 및 변분 파라미터의 효율적 공동 최적화를 가능하게 하여, 대규모 데이터셋에 대한 확장성 확보에 기여했다.
• 모델이 한 클래스의 스타일을 다른 클래스로 전이하여 이미지를 생성함으로써 유사성 생성을 가능하게 하여, 의미 있는 표현 학습 능력을 입증했다.