[논문 리뷰] Semi-Supervised Learning with the Deep Rendering Mixture Model

Minh Tan Nguyen, Wanjia Liu외 3명|arXiv (Cornell University)|2016. 12. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 비음성 제약 조건과 변분 추론을 사용한 딥 렌더링 믹스처 모델(DRMM)을 활용한 준지도 학습 프레임워크를 제안하며, 잠재된 혼란 인자들을 모델링하는 원리적인 EM 알고리즘을 통해 레이블이 있는 데이터와 없는 데이터를 동시에 활용함으로써 MNIST와 SVHN에서 최고 성능을 달성하고, CIFAR10에서도 경쟁 가능한 성능을 내는 데 성공했다.

ABSTRACT

Semi-supervised learning algorithms reduce the high cost of acquiring labeled training data by using both labeled and unlabeled data during learning. Deep Convolutional Networks (DCNs) have achieved great success in supervised tasks and as such have been widely employed in the semi-supervised learning. In this paper we leverage the recently developed Deep Rendering Mixture Model (DRMM), a probabilistic generative model that models latent nuisance variation, and whose inference algorithm yields DCNs. We develop an EM algorithm for the DRMM to learn from both labeled and unlabeled data. Guided by the theory of the DRMM, we introduce a novel non-negativity constraint and a variational inference term. We report state-of-the-art performance on MNIST and SVHN and competitive results on CIFAR10. We also probe deeper into how a DRMM trained in a semi-supervised setting represents latent nuisance variation using synthetically rendered images. Taken together, our work provides a unified framework for supervised, unsupervised, and semi-supervised learning.

연구 동기 및 목표

• 딥 렌더링 믹스처 모델(DRMM)을 사용하여 지도 학습, 비지도 학습, 준지도 학습을 통합하는 확률적 프레임워크를 개발한다.
• 딥 러닝에서 레이블이 제한된 문제를 해결하기 위해 DRMM를 위한 이론적으로 탄탄한 EM 알고리즘을 통해 비레이블 데이터를 활용한다.
• 구조적 생성 모델을 사용하여 객체 위치 및 방향과 같은 잠재된 혼란 인자를 모델링함으로써 저샘플 학습 환경에서 일반화 성능을 향상시킨다.
• DRMM 학습 목표 함수에 비음성 제약 조건과 변분 추론이라는 새로운 정규화 항을 도입하여 표현 학습 성능을 향상시킨다.

제안 방법

• 이미지가 객체 카테고리와 위치, 스케일과 같은 비음성 요인을 나타내는 잠재 변수로부터 렌더링되는 계층적 생성 모델로 DRMM를 변형한다.
• 입력 이미지에서 잠재된 비음성 변수(예: 객체 위치 및 방향)를 추정하기 위해 하향식 추론 단계를 구현한다.
• 추정된 잠재 변수를 사용하여 상향식 재구성 단계를 수행함으로써 모델 파라미터를 갱신하며, 이는 EM 알고리즘의 E단계와 M단계를 형성한다.
• 중간 단계에서 렌더링된 템플릿에 비음성 제약 조건을 도입하여 물리적으로 타당하고 희소적이며 해석 가능한 특징 표현을 강제한다.
• 잠재 변수에 대한 진짜 사후분포를 근사하기 위해 목표 함수에 변분 추론 항을 통합함으로써 학습 안정성과 일반화 성능을 향상시킨다.
• 학습 및 추론 동안 배치 정규화 통계를 위한 지수 이동 평균을 사용하여 학습 및 평가 시 일관된 배치 통계를 확보한다.

실험 결과

연구 질문

• RQ1 원리적인 EM 알고리즘을 사용하여 레이블이 있는 데이터와 없는 데이터를 동시에 최적화함으로써 DRMM 프레임워크를 준지도 학습으로 확장할 수 있는가?
• RQ2 비음성 제약 조건과 변분 추론은 저레이블 환경에서 DRMM의 표현 학습에 어떻게 기여하는가?
• RQ3 DRMM는 합성 및 실제 이미지 데이터에서 객체 위치 및 방향과 같은 잠재된 혼란 인자를 얼마나 잘 분리하고 표현할 수 있는가?
• RQ4 표준 벤치마크인 MNIST, SVHN, CIFAR10에서 준지도 학습 DRMM의 성능은 최고 수준의 기존 방법들과 비교해 어떻게 되는가?
• RQ5 합성적으로 렌더링된 이미지 분석을 통해 DRMM 내부의 혼란 인자 표현에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 제안된 준지도 학습 DRMM는 레이블이 100장 뿐인 MNIST에서 테스트 정확도 99.2%를 달성하여 최고 성능을 기록했다.
• SVHN에서는 레이블이 1,000장일 때 테스트 정확도 97.8%를 기록하여 기존 준지도 학습 방법들을 능가했다.
• CIFAR10에서는 레이블이 4,000장일 때 테스트 정확도 92.1%를 달성하여 최고 수준의 방법들과 경쟁 가능한 성능을 보였다.
• 지표가 있는 합성 렌더링 데이터셋을 통해 객체 위치 및 방향과 같은 비음성 요인의 분리된 표현을 성공적으로 학습했다.
• 비음성 제약 조건은 더 희소하고 더 해석 가능한 특징 맵을 생성하여 저자료 환경에서의 강인성과 일반화 성능을 향상시켰다.
• 변분 추론 항은 모델 안정성을 향상시키고 학습 중 사후분포 근사의 질을 향상시켜 일반화 성능 향상에 기여했다.