[논문 리뷰] Multi-view Learning as a Nonparametric Nonlinear Inter-Battery Factor Analysis

Andreas Damianou, Neil D. Lawrence외 1명|arXiv (Cornell University)|2016. 04. 17.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 7

한 줄 요약

이 논문은 가우시안 프로세스 잠재변수모형(GP-LVM)을 사용하여 다중 시각 데이터를 비모수적 비선형 상호배터리 요인분석으로 공식화함으로써, 비모수적 비선형 다중 시각 학습 프레임워크를 제안한다. 베이지안 변분 추론 기반의 자동 정규화를 통해 수십 개의 시각을 넘는 유연한 표현 학습을 가능하게 하며, 자료가 부족한 상황에서도 탐색적 분석, 생성, 모호성 모델링, 분류 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Factor analysis aims to determine latent factors, or traits, which summarize a given data set. Inter-battery factor analysis extends this notion to multiple views of the data. In this paper we show how a nonlinear, nonparametric version of these models can be recovered through the Gaussian process latent variable model. This gives us a flexible formalism for multi-view learning where the latent variables can be used both for exploratory purposes and for learning representations that enable efficient inference for ambiguous estimation tasks. Learning is performed in a Bayesian manner through the formulation of a variational compression scheme which gives a rigorous lower bound on the log likelihood. Our Bayesian framework provides strong regularization during training, allowing the structure of the latent space to be determined efficiently and automatically. We demonstrate this by producing the first (to our knowledge) published results of learning from dozens of views, even when data is scarce. We further show experimental results on several different types of multi-view data sets and for different kinds of tasks, including exploratory data analysis, generation, ambiguity modelling through latent priors and classification.

연구 동기 및 목표

• 자료가 제한된 상황에서 다수의 데이터 시각(모odalities)으로부터 강건하고 저차원의 표현을 학습하는 데 도전한다.
• 기존 요인분석에서 발생하는 식별 불가 문제를 해결하기 위해, 체계적인 정규화를 갖춘 베이지안 비모수적 프레임워크를 도입한다.
• 가우시안 프로세스를 사용하여 상호배터리 요인분석을 비선형 비모수적 설정으로 확장함으로써 모델링의 유연성과 해석 가능성 향상을 도모한다.
• 수십 개의 시각을 넘는 분석에서 효율적인 추론과 표현 학습을 가능하게 하며, 이는 이전에 발표된 연구에서 구현된 바가 없는 능력이다.

제안 방법

• 핵심 생성 메커니즘으로 가우시안 프로세스 잠재변수모형(GP-LVM)을 사용하여 다중 시각 학습을 비모수적 비선형 상호배터리 요인분석으로 공식화한다.
• 변분 압축 기법을 적용하여 로그우도의 엄밀한 하한(lower bound)를 유도함으로써, 베이지안 추론과 정규화를 가능하게 한다.
• 각 시각이 공통의 저차원 잠재공간에서 가우시안 프로세스 사전분포를 통해 매핑되는 다중 시각에 대한 공동 확률 모델을 사용한다.
• 잠재변수와 유도점(inducing points)에 대한 분리된 변분 사후분포를 사용한 근사 베이지안 추론을 수행함으로써 확장 가능한 계산을 가능하게 한다.
• 예측 프레임워크를 도입하여, 효율적인 상향식 생성을 위한 출력의 사후 모멘트(평균 및 공분산)를 모멘트 매칭 근사법으로 계산한다.
• 데이터 포인트 간에 분해 가능한 통계량(ψ, Ψ, Φ)을 활용하여 추론 시 훈련 시간의 계산을 재사용함으로써 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 비모수적 비선형 상호배터리 요인분석의 확장이 자료 부족 상황에서도 높은 유연성과 강건성을 확보하면서 다중 시각 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 다중 시각 GP-LVM에 대해 베이지안 변분 추론을 어떻게 적용할 수 있으며, 이로써 잠재공간의 강력한 정규화와 자동적인 구조 탐색이 가능해지는가?
• RQ3 제안된 프레임워크는 자료가 제한된 상황에서도 수십 개의 시각을 넘는 의미 있는 표현을 학습할 수 있으며, 기존 방법보다 다중 시각 과제에서 뛰어난 성능을 보일 수 있는가?
• RQ4 동일한 프레임워크를 통해 탐색적 데이터 분석, 생성, 모호성 모델링, 분류 등 다양한 과제를 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• 제안된 모델은 자료가 극도로 부족한 조건에서도 다중 시각 설정에서 수십 개의 시각으로부터의 학습 결과를 처음으로 발표하였다.
• 베이지안 변분 추론 프레임워크는 강력한 정규화를 제공하며, 수동 튜닝 없이도 잠재공간의 구조를 자동으로 효율적으로 탐색할 수 있다.
• 다양한 데이터 유형 간에 의미 있는 저차원 표현을 드러내어 탐색적 데이터 분석 과제에서 뛰어난 성능을 보였다.
• 다중 시각 자료의 불확실성을 포괄하는 정보적인 잠재 사전분포를 학습함으로써 효과적인 모호성 모델링이 가능해졌다.
• 검증된 다수의 데이터셋과 모달리티를 통해 생성 및 분류 과제에서 경쟁력 있는 성능을 보였다.
• 훈련 시 계산된 분해 가능한 통계량을 재사용함으로써 예측 추론이 계산적으로 효율적이며, 확장 가능한 구현이 가능해졌다.