[논문 리뷰] Automatic Relevance Determination For Deep Generative Models

Theofanis Karaletsos, Gunnar Rätsch|arXiv (Cornell University)|2015. 05. 28.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 6

한 줄 요약

이 논문은 딥 생성 모델에서 부적절한 잠재 차원을 자동으로 제거하기 위해 자동 관련성 결정(ARD)을 적용한 双중 스토케스틱 변분 추론 프레임워크를 제안한다. 잠재 변수 가중치에 인과적 사전분포를 도입하고 스 tochastic 그래디언트 추정을 사용함으로써, 모델 성능을 훼손하지 않은 채 압축되고 해석 가능한 표현을 달성한다. 벤치마크 데이터에서 높은 가능도를 유지하면서도 잠재 공간을 크게 압축함을 입증한다.

ABSTRACT

A recurring problem when building probabilistic latent variable models is regularization and model selection, for instance, the choice of the dimensionality of the latent space. In the context of belief networks with latent variables, this problem has been adressed with Automatic Relevance Determination (ARD) employing Monte Carlo inference. We present a variational inference approach to ARD for Deep Generative Models using doubly stochastic variational inference to provide fast and scalable learning. We show empirical results on a standard dataset illustrating the effects of contracting the latent space automatically. We show that the resulting latent representations are significantly more compact without loss of expressive power of the learned models.

연구 동기 및 목표

• 수동적인 하이퍼파rameter 조정 없이 딥 생성 모델에서 최적의 잠재 공간 차원을 결정하는 문제를 해결하기 위해.
• 원칙적인 정규화를 통해 데이터 기반으로 불필요한 잠재 차원을 자동으로 정리하기 위해.
• 잠재 변수에 대한 관련성 마스크를 학습하여 모델의 압축성과 해석 가능성을 향상시키기 위해.
• 효율적인 스 tochastic 그래디언트 추론을 사용하여 ARD를 딥 생성 모델에 확장하기 위해.

제안 방법

• 잠재 변수의 가중치에 계층적 사전분포를 도입함으로써 Automatic Relevance Determination(ARD)를 적용하여, 잠재 차원의 흩어짐을 유도한다.
• 재구성 그래디언트를 사용한 이중 스토케스틱 변분 추론(SGVB)을 통해 잠재 변수와 모델 파라미터의 사후분포를 근사한다.
• 각 잠재 차원에 대해 인과적 사전분포를 도입하여 개별적인 관련성 추정이 가능하게 하여 일부 차원을 효과적으로 제거할 수 있도록 한다.
• 잠재 변수와 그래디언트 추정기의 스토케스틱성 둘 다 통합한 변분 하한을 유도함으로써 엔드 투 엔드 학습이 가능하게 한다.
• 두 가지 변형을 도입한다: SGVB-ARD(스 tochastic 그래디언트 기반)와 GSGVB-ARD(해석적으로 통합된), 각각 그래디언트 안정성과 수렴 동작에서 차이를 보인다.
• 몬테카를로 샘플로부터의 그래디언트 추정을 사용한 스 tochastic 최적화로 모델을 학습함으로써 고차원 데이터에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 ARD가 딥 생성 모델에 효과적으로 적용되어 잠재 공간의 실질적 차원을 자동으로 결정할 수 있는가?
• RQ2 ARD 기반 정리가 모델 가능도, 재구성 품질, 잠재 공간의 압축성에 어떤 영향을 미치는가?
• RQ3 ARD와 함께 이중 스토케스틱 변분 추론을 사용할 경우, 표준 SGVB에 비해 훈련 안정성과 수렴 성능에 어떤 영향을 미치는가?
• RQ4 ARD가 학습한 관련성 마스크가 잠재 표현의 해석 가능성을 향상시키는가?
• RQ5 특히 자료가 적은 환경에서, 다양한 초기 잠재 공간 크기에서 ARD의 성능은 어떻게 비교되는가?

주요 결과

• SGVB-ARD는 잠재 차원을 성공적으로 정리하여 실험에서 실질적 차원을 약 9로 줄였으며, 초기 200 또는 400 단위보다 크게 낮췄다.
• 결과적으로 얻어진 모델은 표준 SGVB보다 훈련 및 테스트 세트에서 더 높은 가능도를 달성하여 일반화 성능 향상을 시사한다.
• GSGVB-ARD는 SGVB-ARD보다 더 안정적인 훈련 동역학을 보였으며, 그래디언트 노이즈가 적고 수렴 곡선이 더 매끄럽지만, 완전히 수렴하기까지 더 오랜 훈련 시간이 소요된다.
• ARD는 상위 레이어의 가중치를 강하게 압축함을 보여주어, 이 압축 효과가 생성 네트워크 전반에 걸쳐 전파됨을 시사한다.
• ARD로 학습된 모델는 매우 압축된 표현을 유지하면서도 높은 품질의 재구성을 유지한다.
• 명시적 정규화 없이도 SGVB가 잠재 차원을 정리하는 경향을 보이며, 이는 ARD가 자연스러운 압축성 향상 인덕티브 바이어스를 강화함을 시사한다.