[논문 리뷰] Manifold Relevance Determination

Andreas Damianou, Carl Henrik Ek외 2명|arXiv (Cornell University)|2012. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 49

한 줄 요약

이 논문은 다중 데이터 뷰로부터 공유 및 비공유 표현을 연속적이고 확률적인 잠재 공간으로 소프트한 이산 분할을 통해 공유 및 비공유 표현을 학습하는 완전 베이지안 잠재변수 모델을 제안한다. 다양체 구조를 활용하고 차원 수 자동 결정 기능을 통해 고차원 데이터의 복잡한 비선형 종속성을 포착한다—이를 통해 이미지 생성 및 인간 자세 예측에서 성능을 입증하였으며, 학습된 사전 분포를 통한 원칙적인 모호성 제거 기능을 제공한다.

ABSTRACT

In this paper we present a fully Bayesian latent variable model which exploits conditional nonlinear(in)-dependence structures to learn an efficient latent representation. The latent space is factorized to represent shared and private information from multiple views of the data. In contrast to previous approaches, we introduce a relaxation to the discrete segmentation and allow for a "softly" shared latent space. Further, Bayesian techniques allow us to automatically estimate the dimensionality of the latent spaces. The model is capable of capturing structure underlying extremely high dimensional spaces. This is illustrated by modelling unprocessed images with tenths of thousands of pixels. This also allows us to directly generate novel images from the trained model by sampling from the discovered latent spaces. We also demonstrate the model by prediction of human pose in an ambiguous setting. Our Bayesian framework allows us to perform disambiguation in a principled manner by including latent space priors which incorporate the dynamic nature of the data.

연구 동기 및 목표

• 다중 데이터 뷰 간의 공유 및 비공유 잠재 구조를 모델링하는 베이지안 프레임워크를 개발하는 것.
• 다중 뷰 학습에서 이산 분할을 완화하기 위해 공유 구성 요소의 연속적이고 확률적인 표현 방식을 도입하는 것.
• 베이지안 추론을 통해 잠재 공간의 최적 차원 수를 자동으로 추론하는 것.
• 원시 이미지와 같은 수만 개의 픽셀을 가진 고차원 데이터에서 복잡한 비선형 종속성을 모델링하는 것.
• 다이나믹한 잠재 사전 분포를 통한 원칙적인 모호성 제거 기능을 통해 인간 자세 추정과 같은 모호한 설정에서의 해소를 가능하게 하는 것.

제안 방법

• 모델은 각 뷰가 공유 및 비공유 구성 요소에 기여하는 인수 분해된 잠재 공간을 사용하며, 연속적인 혼합 행렬을 통해 소프트 혼합을 구현한다.
• 데이터의 비선형 종속성을 모델링하기 위해 잠재 다양체 위에 가우시안 프로세스 사전분포를 사용한다.
• 잠재 차원에 계층적 베이지안 사전분포를 적용하여 자동 관련성 결정(ARD)을 통해 효과적인 차원 수를 추론할 수 있도록 한다.
• 잠재 변수의 후행분포가 비가역적임을 감안해, 평균장 근사법을 사용한 변분 추론을 통해 모델을 학습한다.
• 관측된 데이터로의 맵핑을 위한 가능도 함수를 사용하여 가능도를 모델링함으로써, 샘플링을 통한 직접적인 이미지 생성을 가능하게 한다.
• 시간적 또는 구조적 제약 조건(예: 인간 자세 예측)을 반영하기 위해 다이나믹한 사전분포를 통합한다.

실험 결과

연구 질문

• RQ1 다중 데이터 뷰 간의 공유 및 비공유 정보를 연속적이고 확률적인 방식으로 어떻게 모델링할 수 있는가?
• RQ2 수동 조정 없이도 잠재 공간의 관련 차원 수를 자동으로 결정할 수 있는가?
• RQ3 이 모델은 원시 이미지와 같은 고차원 데이터에서 비선형 구조를 얼마나 잘 포착할 수 있는가?
• RQ4 원칙적인 베이지안 사전분포를 통해 모호한 데이터 설정에서의 해소 기능을 어떻게 수행할 수 있는가?
• RQ5 소프트 공유 메커니즘은 하드 분할에 비해 표현 학습에 얼마나 더 나은 성능을 발휘하는가?

주요 결과

• 모델은 수만 개의 픽셀을 가진 처리되지 않은 이미지로부터 저차원의 비선형 잠재 표현을 성공적으로 학습하여, 샘플링을 통한 직접적인 이미지 생성을 가능하게 한다.
• 베이지안 사전분포를 통한 자동 관련성 결정이 수동 설정이 필요 없이 잠재 공간의 진짜 기저 차원 수를 효과적으로 식별한다.
• 소프트 공유 메커니즘이 하드 분할보다 부분적이고 연속적인 기여를 가능하게 하여 노이즈 및 모호성에 대한 강건성을 향상시켜 더 나은 성능을 발휘한다.
• 인간 자세 예측에서, 시간적 일관성을 반영하는 다이나믹한 사전분포를 통합함으로써 모호한 구성에서의 해소 기능을 달성하여 정확도를 향상시켰다.
• 프레임워크는 고차원 데이터에서 강력한 일반화 성능을 보이며, 확률적 추론과 불확실성 측정을 통해 해석 가능성도 유지한다.
• 학습된 잠재 공간에서 새로운 이미지를 생성할 수 있는 능력은 모델이 의미 있는 데이터 다양체를 효과적으로 포착하고 있음을 확인한다.