[논문 리뷰] A Variational Autoencoder for Probabilistic Non-Negative Matrix Factorisation

Steven Squires, Adam Prügel‐Bennett외 1명|arXiv (Cornell University)|2019. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 6

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)를 확률적 추론과 통합하여 불확실성 추정, 데이터 생성 및 체계적인 정규화를 가능하게 하는 변분 오토인코더인 PAE-NMF를 제안한다. 음수일 수 없는 가중치를 강제로 적용하고 잠재 공간에서 음수일 수 없는 Weibull 분포를 사용함으로써, 모델은 불확실성 정량화와 함께 희소하고 부분 기반의 표현을 학습하며, 샘플링을 통해 새로운 데이터를 생성한다. 이는 해석 가능성과 생성 능력 면에서 표준 NMF를 능가한다.

ABSTRACT

We introduce and demonstrate the variational autoencoder (VAE) for probabilistic non-negative matrix factorisation (PAE-NMF). We design a network which can perform non-negative matrix factorisation (NMF) and add in aspects of a VAE to make the coefficients of the latent space probabilistic. By restricting the weights in the final layer of the network to be non-negative and using the non-negative Weibull distribution we produce a probabilistic form of NMF which allows us to generate new data and find a probability distribution that effectively links the latent and input variables. We demonstrate the effectiveness of PAE-NMF on three heterogeneous datasets: images, financial time series and genomic.

연구 동기 및 목표

• 비음수 행렬 분해(NMF)의 확률적 확장을 개발하여 불확실성 정량화와 데이터 생성을 가능하게 한다.
• NMF의 인도크티브 바이어스인 희소성과 부분 기반 표현을 딥 생성 모델 프레임워크에 통합한다.
• 수동적인 사전 선택이나 고비용의 MCMC 추론이 필요 없이도 KL 발산 항을 통해 체계적이고 미분 가능한 정규화 메커니즘을 제공한다.
• 자동 미분 및 GPU 가속 기능을 활용한 딥 러닝 도구를 통해 실용적이고 확장 가능한 추론을 가능하게 한다.
• 이미지, 금융 시계열, 유전체 데이터 등 다양한 데이터 유형에서 모델의 효과성을 입증한다.

제안 방법

• 모델은 음수일 수 없는 활성화 함수를 은닉층에 적용하여 음수일 수 없는 잠재 표현을 강제로 적용하는 딥 오토인코더 아키텍처를 사용한다.
• 최종층의 가중치는 음수일 수 없도록 제약을 두어 NMF 프레임워크 내에서 기저 벡터로 해석할 수 있다.
• 잠재 변수 $ \mathbf{h} $ 에 대해 변분 사후분포 $ q_{\phi}(\mathbf{h}|\mathbf{x}) $ 를 학습하며, 사전으로 음수일 수 없는 Weibull 분포를 사용한다.
• 목적 함수는 데이터의 재구성 오차(로그우도)와 변분 사후분포 및 사전분포 간의 KL 발산 항을 조합하여 엔드 투 엔드 학습을 가능하게 한다.
• 잠재 분포에서의 확률적 샘플링을 통해 데이터 생성이 가능하며, KL 항은 자동 정규화를 제공한다.
• 자동 미분를 활용한 역전파를 통해 학습이 이루어지며, GPU에서 효율적인 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 변분 오토인코더를 비음수 행렬 분해(NMF)에 적응시킬 수 있는가? 이때도 부분 기반의 희소 표현을 유지할 수 있는가?
• RQ2 NMF에 확률적 추론을 통합하면, 결정론적 NMF에 비해 불확실성 정량화와 데이터 생성 능력이 향상되는가?
• RQ3 VAE 목적 함수의 KL 발산 항이 수동적인 사전 선택 없이도 NMF에서 체계적이고 자동적인 정규화 메커니즘으로 기능할 수 있는가?
• RQ4 이질적인 데이터 유형(예: 이미지, 금융 시계열, 유전체 데이터) 간에 모델의 성능 및 해석 가능성은 어떻게 비교되는가?
• RQ5 모델의 기술 길이 목적 함수를 통해 데이터 기반의 체계적인 방식으로 최적의 잠재 차원 수를 선택할 수 있는가?

주요 결과

• PAE-NMF 모델은 NMF의 부분 기반 표현과 희소성 특성을 유지하면서도 음수일 수 없는 확률적 잠재 표현을 성공적으로 학습한다.
• KL 발산 항의 포함으로 인해 잠재 분포의 분포가 퍼지게 유지되어 표준 NMF로의 붕괴를 방지한다.
• 유사한 데이터 포인트(예: 얼굴)는 유사한 잠재 분포를 보이며, 이는 모델이 의미 있는 의미적 구조를 포착하고 있음을 시사한다.
• 학습된 잠재 분포에서 샘플링을 통해 현실적인 새로운 데이터 샘플을 생성할 수 있으며, 이는 얼굴 이미지와 FTSE 100 주식 시계열 데이터에서 입증되었다.
• 모델의 목적 함수는 자동 정규화를 지원하며, 기술 길이를 통한 잠재 차원 선택을 가능하게 하여 하이퍼파rameter 선택에 대한 민감도를 감소시킨다.
• 재구성 정확도와 일반화 능력 사이의 균형을 이루며, 완전한 베이지안 대안보다 더 빠르고 확장 가능한 학습을 달성한다.