[논문 리뷰] A Slice Sampler for Restricted Hierarchical Beta Process with Applications to Shared Subspace Learning

Sunil Gupta, Dinh Phung외 1명|arXiv (Cornell University)|2012. 10. 16.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 10

한 줄 요약

이 논문은 비공액 우도를 가진 여러 데이터 소스 간에 공유되는 부분공간 학습을 가능하게 하는 제한된 계층 베타 분포(rHBP)를 위한 슬라이스 샘플러를 제안한다. 계층적 사전분포를 통해 요소를 여러 소스 간에 공유함으로써, 이 방법은 간편한 베이지안 추론을 지원하며 텍스트 모델링 및 이미지 검색 작업에서 뛰어난 전이 학습 성능을 달성한다.

ABSTRACT

Hierarchical beta process has found interesting applications in recent years. In this paper we present a modified hierarchical beta process prior with applications to hierarchical modeling of multiple data sources. The novel use of the prior over a hierarchical factor model allows factors to be shared across different sources. We derive a slice sampler for this model, enabling tractable inference even when the likelihood and the prior over parameters are non-conjugate. This allows the application of the model in much wider contexts without restrictions. We present two different data generative models a linear GaussianGaussian model for real valued data and a linear Poisson-gamma model for count data. Encouraging transfer learning results are shown for two real world applications text modeling and content based image retrieval.

연구 동기 및 목표

• 다양한 데이터 소스 간에 공유되는 요소를 가진 계층적 요인 분석을 위한 확장 가능한 베이지안 모델을 개발하기 위해.
• 비공액 우도와 복잡한 사전분포를 가진 모델에서 추론을 간편하게 가능하게 하기 위해.
• 다른 데이터 유형이나 소스 간에 요소를 공유할 수 있도록 해 전이 학습을 지원하기 위해.
• 실제 데이터에 다양한 우도 구조가 존재할 경우에도 계층 베타 분포의 적용 가능성을 확장하기 위해.
• 텍스트 모델링 및 콘텐츠 기반 이미지 검색과 같은 실제 응용 분야에서의 경험적 효과를 입증하기 위해.

제안 방법

• 다양한 데이터 소스 간에 공유되는 요소를 유도하기 위해 제한된 계층 베타 분포(rHBP) 사전분포를 제안한다.
• 비공액 우도를 다룰 수 있는 후행 분포 추론을 위한 슬라이스 샘플러를 개발하여 공액 조건을 가정하지 않고도 완전한 베이지안 추론을 가능하게 한다.
• 공유 요소가 소스 간에 학습되는 계층적 요인 모델에 rHBP를 적용하며, 소스별로 고유한 요소를 허용한다.
• 실수값 데이터에 적합한 선형 가우시안-가우시안 모델과 카운트 데이터에 적합한 선형 포아송-감마 모델을 두 가지 데이터 생성 모델로 활용한다.
• 변분 근사가 필요 없도록 잠재 요소와 초모수를 동시에 추론하기 위해 슬라이스 샘플링을 사용한다.
• 후행 분포 계산을 위한 효율적인 겹침 샘플링 단계를 슬라이스 샘플러 프레임워크 내에서 유도한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 소스 간에 공유되는 요소를 가진 비공액 베이지안 모델은 효율적으로 추론될 수 있는가?
• RQ2 rHBP 사전분포는 다중 소스 데이터 환경에서 전이 학습을 얼마나 잘 지원하는가?
• RQ3 제안된 모델은 텍스트 모델링 및 이미지 검색과 같은 실제 응용 분야에서 어떤 성능을 보이는가?
• RQ4 스케일러비리티와 정확도 측면에서 슬라이스 샘플러는 다른 추론 방법보다 어떻게 비교되는가?
• RQ5 모델은 소스별 특성은 유지하면서 효과적으로 공유 부분공간을 학습할 수 있는가?

주요 결과

• 제안된 슬라이스 샘플러는 비공액 우도를 가진 계층적 요인 모델에서 효율적이고 간편한 추론을 가능하게 한다.
• 텍스트 모델링 분야에서 공유 요소 학습을 통해 성능 향상을 이룬 유의미한 전이 학습 결과를 달성한다.
• 콘텐츠 기반 이미지 검색에서, 다양한 이미지 데이터셋 간의 공유 부분공간을 활용하여 검색 정확도가 향상됨을 보였다.
• 실수값 데이터와 카운트 데이터에 각각 강력한 경험적 성능을 보인 선형 가우시안-가우시안 모델과 포아송-감마 모델.
• rHBP 사전분포는 데이터 소스 간의 공통 구조를 효과적으로 포착하면서도 소스별 변동성을 허용한다.
• 이 방법은 공액 모델을 초월하여 계층 베타 분포 응용의 범위를 넓히며 적용 가능성이 높다.