[논문 리뷰] Spike and Slab Gaussian Process Latent Variable Models

Zhenwen Dai, James Hensman외 1명|arXiv (Cornell University)|2015. 05. 10.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 6

한 줄 요약

이 논문은 이진 스위칭 변수를 사용하여 활성 잠재 차원을 확률적으로 선택함으로써 원칙적이고 자동적인 차원 수 선택을 가능하게 하는 스파이크 앤 슬래브 가우시안 프로세스 잠재변수모델(SS-GP-LVM)을 제안한다. 변분 하한을 유도하고 잠재변수 및 스위칭 변수를 효율적으로 추론함으로써, 교차모달 검색에서 최신 기법들을 능가하며, 텍스트 쿼리에서 0.540 mAP를 달성한다—이전 방법들보다 뚜렷이 뛰어나며, 학습 중에 레이블 정보를 사용하지 않아도 된다.

ABSTRACT

The Gaussian process latent variable model (GP-LVM) is a popular approach to non-linear probabilistic dimensionality reduction. One design choice for the model is the number of latent variables. We present a spike and slab prior for the GP-LVM and propose an efficient variational inference procedure that gives a lower bound of the log marginal likelihood. The new model provides a more principled approach for selecting latent dimensions than the standard way of thresholding the length-scale parameters. The effectiveness of our approach is demonstrated through experiments on real and simulated data. Further, we extend multi-view Gaussian processes that rely on sharing latent dimensions (known as manifold relevance determination) with spike and slab priors. This allows a more principled approach for selecting a subset of the latent space for each view of data. The extended model outperforms the previous state-of-the-art when applied to a cross-modal multimedia retrieval task.

연구 동기 및 목표

• GP-LVM에서 잠재 차원을 선택하는 히وري스틱 임계값 설정의 한계를 해결하기 위해, 수동 조정이 필요하고 이론적 기반 없이 이루어지는 방법을 개선한다.
• 스위칭 가능한 스파이크 앤 슬래브 사전분포를 사용하여, 잠재 차원의 확률적 on/off 스위칭을 가능하게 하는 원칙적인 베이지안 접근법을 개발한다.
• 다중 시각 학습을 위해 다양체 관련 결정(MRD)을 통해 확장함으로써, 공유 및 전용 잠재 공간을 제공하고 각 시각에 대해 자동으로 차원 수를 선택할 수 있도록 한다.
• 학습 중에 레이블 정보를 사용하지 않고도 교차모달 검색 과제에서 뛰어난 성능을 달성한다.

제안 방법

• 각 잠재 차원이 활성 또는 비활성인지 결정하는 이진 스위칭 변수를 포함한 스파이크 앤 슬래브 사전분포를 도입한다.
• 잠재변수 및 스위칭 변수에 대한 효율적 추론을 가능하게 하기 위해 로그 우도 우도의 닫힌 형태의 변분 하한을 유도한다.
• 잠재변수와 스위칭 변수 간의 조건부 의존성을 모델링하는 구조화된 변분 추론 방법을 사용하여, 표준 평균장 근사에서 발생하는 문제를 피한다.
• 다중 시각 GP-LVM에 대해 다양체 관련 결정을 적용하여, 공유 및 시각별로 고유한 잠재 공간을 허용하고 자동 차원 선택을 가능하게 한다.
• 실세계 데이터셋에서의 확장 가능한 학습을 위해 GPU 가속화된 병렬 추론을 구현한다.
• 지수 제곱 커널을 사용하고, 추론 이전에 특징을 평균 0, 분산 1로 정규화한다.

실험 결과

연구 질문

• RQ1 스파이크 앤 슬래브 사전분포는 GP-LVM에 효과적으로 적용되어 자동이고 원칙적인 잠재 차원 수 선택을 가능하게 할 수 있는가?
• RQ2 제안된 변분 추론 방법은 길이 척도 임계값 설정 기반의 표준 방법과 비교해 모델 선택 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ3 스파이크 앤 슬래브 접근법은 다양체 관련 결정을 통해 다중 시각 GP-LVM로 확장되어 교차모달 학습 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 학습 중에 레이블 정보를 사용하지 않아도 교차모달 검색에서 최신 기법을 능가하는 성능을 달성할 수 있는가?

주요 결과

• 제안된 SSMRD 모델은 위키백과 교차모달 검색 데이터셋에서 텍스트 쿼리에 대해 평균 정밀도(mAP) 0.540을 달성하였으며, 이는 이전 최고 성능(SMC: 0.273 mAP)을 크게 뛰어넘는 결과이다.
• 텍스트 쿼리에 대한 정밀도-재현율 곡선이 모든 경쟁 모델보다 더 천천히 감소하여, 랭킹 품질이 뛰어나다는 것을 보여준다.
• 이미지 쿼리에 대해서는 0.170 mAP를 기록하였는데, 이는 부족한 유도 입력(100개 사용)과 학습 중 레이블 정보 부재로 인해 최신 기술에 못 미친다.
• 모델은 확률적 스위칭을 통해 수동적인 길이 척도 임계값 설정이 필요 없이 자동이고 원칙적인 잠재 차원 선택을 가능하게 한다.
• 변분 추론 프레임워크는 스위칭 변수와 잠재 입력 간의 강한 상관관계를 효과적으로 처리하여, 표준 평균장 근사에서 흔히 발생하는 문제를 피한다.
• 학습 중에 레이블 정보를 사용하지 않음에도 불구하고, 모든 비교 모델보다 교차모달 검색 과제에서 뛰어난 성능을 보이며, 이는 모델의 강건성과 일반화 능력을 입증한다.