[논문 리뷰] Bayesian Semisupervised Learning with Deep Generative Models

Jonathan Gordon, José Miguel Hernández-Lobato|arXiv (Cornell University)|2017. 06. 29.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 16

한 줄 요약

이 논문은 깊이 있는 생성 모델을 사용하는 베이지안 준지도 학습 프레임워크를 제안하며, 분류 성분으로 완전한 베이지안 신경망(BNN)을 사용하여 불확실성 인식 예측을 가능하게 한다. 확률적 입력을 도입하고, 사후 추론에 걸프 샘플링(Gibbs sampling)을 활용함으로써 데이터 불확실성과 파rameter 불확실성을 모두 포착한다. 이는 합성 데이터에서 정확도와 불확실성 캘리브레이션 측면에서 점추정 기반 보다 뛰어난 성능을 보인다.

ABSTRACT

Neural network based generative models with discriminative components are a powerful approach for semi-supervised learning. However, these techniques a) cannot account for model uncertainty in the estimation of the model's discriminative component and b) lack flexibility to capture complex stochastic patterns in the label generation process. To avoid these problems, we first propose to use a discriminative component with stochastic inputs for increased noise flexibility. We show how an efficient Gibbs sampling procedure can marginalize the stochastic inputs when inferring missing labels in this model. Following this, we extend the discriminative component to be fully Bayesian and produce estimates of uncertainty in its parameter values. This opens the door for semi-supervised Bayesian active learning.

연구 동기 및 목표

• 기존 준지도 학습을 위한 깊이 있는 생성 모델에서 모델 불확실성 정량화의 부족을 해결하기 위해.
• 고차원 잠재 공간으로의 확률적 입력을 갖는 베이지안 신경망을 확장하여 레이블 생성의 유연성을 향상시키기 위해.
• 잠재 변수와 모델 파라미터의 불확실성을 명시적으로 모델링하여 준지도 학습과 능동 학습을 동시에 지원하기 위해.
• 예측 시 확률적 입력과 사후 가중치를 모두 통합하는 효율적인 추론 절차를 개발하기 위해.
• 불확실성 인식 예측이 특히 저데이터 환경에서 더 나은 일반화와 신뢰도 캘리브레이션을 이끌어내는지 입증하기 위해.

제안 방법

• 레이블이 확률적 입력을 갖는 BNN을 통해 생성되는 깊이 있는 생성 모델을 도입하여, 레이블 불확실성의 민첩한 모델링을 가능하게 한다.
• 입력 $ x $ 에서 잠재 변수 $ z $ 를 추론하기 위해 인식 네트워크를 사용하여 확장 가능한 사후 근사 추정을 가능하게 한다.
• 반복적으로 $ y_* $, $ z $, $ W_y $ 를 샘플링하는 걸프 샘플링을 적용하며, $ y_* $ 는 버너-인식 없이 빠르게 수렴할 수 있도록 인식 네트워크 $ q_\phi(y_*|x_*) $ 에서 초기화된다.
• 변분 추론의 효율성을 높이기 위해 $ W_y $ 와 $ z $ 에 모두 재정의(reparameterization)를 적용하며, $ \alpha $-divergence 최소화를 통한 기초 하한 경계(ELBO) 최적화를 수행한다.
• 예측 분포를 계산하기 위해 $ W_y $ 와 $ z $ 의 전체 사후 분포를 활용하여 예측의 불확실성 정량화를 가능하게 한다.
• 레이블이 있는 데이터와 없는 데이터를 모두 포함하는 통합 변분 목표 함수를 적용하며, 기여도 균형을 위해 $ \alpha = 0.1 \times N_l $ 을 설정한다.

실험 결과

연구 질문

• RQ1 확률적 입력을 갖는 베이지안 신경망이 결정론적 또는 점추정 기반 보다 준지도 학습에서 불확실성 정량화를 향상시키는가?
• RQ2 확률적 입력을 통합하기 위한 제안된 걸프 샘플링 절차는 예측 성능 및 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 모델 가중치와 잠재 변수의 전체 사후 추정을 통해 준지도 학습과 능동 학습을 동시에 지원할 수 있는가?
• RQ4 BNN 구성 요소에 확률적 입력을 포함함으로써 결정 경계가 더 부드럽고 저레이블 데이터 환경에서 일반화 성능이 향상되는가?
• RQ5 모델의 예측 불확실성은 분포 외 영역에서 표준 깊이 있는 생성 모델과 비교해 어떻게 다를까?

주요 결과

• 제안된 SSLAPD 방법은 테스트 정확도 99.7%와 로그우도 -0.01을 달성하여, DNN(83.6% 정확도, -1.20 로그우도)과 SSLPE(99.2% 정확도, -0.07 로그우도)를 크게 앞서는 성능을 보였다.
• 학습 데이터에서 멀리 떨어진 영역에서 SSLAPD는 더 넓은 신뢰 구간을 생성하여, 파rameter 불확실성을 忽시하는 방법에 비해 더 나은 불확실성 캘리브레이션을 나타냈다.
• 모든 테스트 세트에서 $ N_l > 10 $ 일 때 100% 정확도로 수렴하였으며, 레이블 세트 크가 증가할수록 수렴 속도가 빨라지고 ELBO 값도 향상되었다.
• 인식 네트워크 $ q_\phi(y_*|x_*) $ 에서 초기화된 걸프 샘플링은 버너 인식 없이 효율적인 추론을 가능하게 하였으며, $ T = 10 $ 개 샘플로 안정적인 예측을 달성하였다.
• 모델은 현실적인 샘플을 성공적으로 생성하였으며, 이는 생성 과정이 데이터의 기저 분포를 효과적으로 포착하고 있음을 보여주었다.
• 확률적 입력과 $ W_y $ 의 전체 사후 분포를 활용함으로써 결정 경계의 부드러움과 강건성이 향상되었으며, 특히 저데이터 환경에서 두드러졌다.