[논문 리뷰] SHOT-VAE: Semi-supervised Deep Generative Models With Label-aware ELBO Approximations

Haozhe Feng, Kezhi Kong외 4명|arXiv (Cornell University)|2020. 11. 21.

Machine Learning and Data Classification참고 문헌 29인용 수 5

한 줄 요약

SHOT-VAE는 '좋은 ELBO, 나쁜 추론' 문제를 해결하기 위해 부드러운-ELBO와 온-최적화 근사(OT-approximation)를 도입한 준감독 딥 생성 모델을 제안한다. 부드러운-ELBO는 레이블 예측 손실을 ELBO 목적함수에 통합하여 분류 성능과 ELBO를 이론적으로 연결하고, OT-최적화 근사는 최적의 보간을 통해 ELBO 값의 제약을 풀어준다. CIFAR-10에서는 4,000개의 레이블로 6.11%의 오차율을 기록하고, CIFAR-100에서는 10,000개의 레이블로 25.30%의 오차율을 달성하여 추가적인 사전 지식 없이도 최신 기법들을 능가한다.

ABSTRACT

Semi-supervised variational autoencoders (VAEs) have obtained strong results, but have also encountered the challenge that good ELBO values do not always imply accurate inference results. In this paper, we investigate and propose two causes of this problem: (1) The ELBO objective cannot utilize the label information directly. (2) A bottleneck value exists and continuing to optimize ELBO after this value will not improve inference accuracy. On the basis of the experiment results, we propose SHOT-VAE to address these problems without introducing additional prior knowledge. The SHOT-VAE offers two contributions: (1) A new ELBO approximation named smooth-ELBO that integrates the label predictive loss into ELBO. (2) An approximation based on optimal interpolation that breaks the ELBO value bottleneck by reducing the margin between ELBO and the data likelihood. The SHOT-VAE achieves good performance with a 25.30% error rate on CIFAR-100 with 10k labels and reduces the error rate to 6.11% on CIFAR-10 with 4k labels.

연구 동기 및 목표

• 고 ELBO 값이 정확한 추론 결과를 예측하지 못하는 준감독 VAE에서 흔히 발생하는 문제를 해결한다.
• 이 격리의 근본 원인을 규명한다: (1) ELBO가 직접적으로 레이블 정보를 사용할 수 없는 점, 그리고 (2) ELBO 값의 제약이 존재하는 점.
• 외부 사전 지식이나 아키텍처 수정 없이도 추론 정확도를 향상시키는 방법을 제안한다.
• 소규모 레이블 데이터로도 강력한 성능을 발휘하면서도, 잠재 공간에서 분리된, 해석 가능한 표현을 유지한다.

제안 방법

• 레이블 스무딩을 통해 레이블 예측 손실을 통합한 새로운 ELBO 근사인 부드러운-ELBO를 도입하여, 분류 성능과 ELBO 목적함수 간의 이론적 연관성을 확립한다.
• 진짜 데이터 가능도와 ELBO 사이의 간격을 추정하고 감소시키기 위해 온-최적화 근사(OT-approximation, 최적의 보간 근사)를 제안하여 ELBO 제약을 극복한다.
• 딥 네ural 네트워크를 사용해 추론 및 생성 과정을 매개변수화하며, 잠재 변수 z와 y에 대해 독립적인 사전분포를 사용하고, 공동 사후분포를 q(z,y|X) = q(z|X)q(y|X)로 인수분해한다.
• 스토하스틱 그래디언트 디센트를 통해 최적화하는 복합 목적함수인 부드러운-ELBO를 사용해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 조건부 생성을 활용해 잠재 공간에서 z(스타일)와 y(클래스 레이블)의 분리된 표현을 검증한다.
• SHOT-VAE에 데이터 증강 및 일致성 정규화(예: Mean Teacher)를 결합하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 준감독 VAE에서 높은 ELBO 값이 자주 정확한 추론 결과를 예측하지 못하는가?
• RQ2 ELBO 목적함수에 직접적인 레이블 통합 기능이 없을 경우 성능 저하가 얼마나 심각한가?
• RQ3 ELBO 값의 제약이 존재하여 추가 최적화가 추론 정확도 향상에 기여하지 못하는가?
• RQ4 ELBO와 진짜 데이터 가능도 사이의 간격을 효과적으로 근사하고 감소시켜 성능 향상을 이룰 수 있는가?
• RQ5 외부 사전 지식이나 복잡한 아키텍처에 의존하지 않고도 레이블 인식 ELBO와 제약 해소 메커니즘을 설계할 수 있는가?

주요 결과

• SHOT-VAE는 단지 4,000개의 레이블 샘플만으로 CIFAR-10에서 6.11%의 오차율을 기록하여 동일한 설정에서 기존 기법들을 크게 능가한다.
• 10,000개의 레이블로 CIFAR-100을 테스트했을 때 SHOT-VAE는 25.30%의 오차율을 달성하여 저 supervision 하에서 강력한 일반화 능력을 보였다.
• 단지 500개의 레이블(= CIFAR-10의 2.5%)만으로도 SHOT-VAE는 14.27%의 오차율을 기록하여 극도로 제한된 감독 하에서도 강건함을 입증했다.
• 소규모 아키텍처(예: 150만 파라미터)에서도 뛰어난 성능 유지를 보여, 낮은 계산 오버헤드와 확장성의 잠재력을 지녔다.
• 데이터 증강 또는 Mean Teacher 정규화와 결합했을 때, SHOT-VAE는 CIFAR-10(4,000 레이블)에서 4.56%의 오차율, CIFAR-100(10,000 레이블)에서 24.09%의 오차율을 기록하여 다른 최신 기법들과의 뛰어난 호환성을 보였다.
• 조건부 생성 결과는 z와 y가 분리된, 해석 가능한 요소를 나타내며, z는 이미지 스타일을 제어하고 y는 클래스 식별을 제어함을 확인했다.