[논문 리뷰] Restricting exchangeable nonparametric distributions

Sinead A. Williamson, Steve MacEachern외 1명|arXiv (Cornell University)|2012. 09. 05.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 7

한 줄 요약

이 논문은 기존의 인디안 뷔페 프로세스(IBP) 모델의 정의역을 제한하여 데이터 포인트당 특징 수의 분포를 명시적으로 제어할 수 있는 교환가능한 비모수적 사전분포의 클래스를 제안한다. 기존 IBP가 특징 수를 포isson 분포로 가정하는 데 반해, 특정한 귀속 분포(예: 고정된 특징 수 또는 꼬리가 두꺼운 분포)를 강제함으로써 모델의 해석 가능성과 예측 성능을 향상시킨다. 이는 특징 수가 포isson 분포로 가정하기에 부적합한 데이터(예: 인위적 이미지 및 텍스트 데이터)에서 입증되었다.

ABSTRACT

Distributions over exchangeable matrices with infinitely many columns are useful in constructing nonparametric latent variable models. However, the distribution implied by such models over the number of features exhibited by each data point may be poorly-suited for many modeling tasks. In this paper, we propose a class of exchangeable nonparametric priors obtained by restricting the domain of existing models. Such models allow us to specify the distribution over the number of features per data point, and can achieve better performance on data sets where the number of features is not well-modeled by the original distribution.

연구 동기 및 목표

• 기존의 교환가능한 비모수적 모델(예: IBP)이 데이터 포인트당 특징 수에 대해 포isson 분포를 가정한다는 점의 한계를 해결하기 위해.
• 연구자가 데이터 포인트당 특징 수에 대한 귀속 분포를 명시적으로 지정할 수 있는 프레임워크를 개발하기 위해.
• 특징 수의 포isson 가정이 부적절한 상황(예: 텍스트 데이터에서의 파워-법칙적 단어 사용 또는 고정된 특징 수를 가진 이미지 데이터)에서 모델 성능과 해석 가능성을 향상시키기 위해.
• 교환가능한 행렬 모델에서 완전 무작위 측도의 정의역을 제한하는 원칙적인 방법을 제공하기 위해.

제안 방법

• 특징 수에 대한 사전분포를 제약함으로써 데이터 포인트당 특징 수의 분포를 제한하는 제한된 인디안 뷔페 프로세스(rIBP)를 제안하며, 기본적으로 사용되는 포isson 귀속 분포를 사용자가 지정한 분포로 대체한다.
• 실용적인 추론을 가능하게 하기 위해 특징 수를 잘라낸 유한한 근사(예: 100개 이내)를 사용한 IBP의 유한한 근사를 사용한다.
• 특징 할당과 베타 프로세스 파라미터에 대한 사후 추론을 위해 게이브스 샘플링을 사용하며, 제약 조건이 있는 파라미터에는 메트로폴리스-하스팅스 단계를 적용한다.
• 제한된 모델 하에서 예측 분포를 추정하기 위해 중요도 샘플링을 적용하며, 제한된 모델과 비제한 모델의 가능성 비율에서 유도된 가중치를 사용한다.
• 베타 프로세스의 사후 분포에서 유도된 가중치가 부여된 샘플을 사용하여 예측 분포의 근사치를 구현하며, 중요도 가중치에 대해 식 12를 사용한다.
• 텍스트 데이터에서 꼬리가 두꺼운 특징 수를 모델링하기 위해 음이이항분포를 사용하여 표준 IBP의 포isson 가정을 대체한다.

실험 결과

연구 질문

• RQ1 특징 수에 대한 분포를 제한함으로써 잠재적 특징 모델의 해석 가능성은 향상될 수 있는가?
• RQ2 특징 수에 대해 비포isson 귀속 분포를 강제하면 실제 세계 데이터에서 더 높은 예측 성능을 달성할 수 있는가?
• RQ3 기존의 교환가능한 비모수적 모델(예: IBP)을 어떻게 수정하여 데이터 포인트당 특징 수에 대한 민감한 제어를 가능하게 할 수 있는가?
• RQ4 제약 조건이 있는 파rameter 공간을 가진 제한된 모델에 대해 효과적인 추론 기법은 무엇인가?
• RQ5 특정 도메인 지식(예: 각 이미지에 정확히 두 개의 특징이 존재함)을 특징 수에 반영하면 재구성 품질이 향상될 수 있는가?

주요 결과

• rIBP는 각 데이터 포인트에 정확히 두 개의 특징이 존재하는 인위적 이미지 데이터에서 진짜 잠재적 특징을 성공적으로 복원했으며, 재구성 품질에서 표준 IBP를 능가했다.
• 20 Newsgroups 텍스트 데이터셋에서 rIBP는 특징 수에 대해 음이이항분포 사전분포를 사용하여, 모든 상위-n 라벨 순위에서 표준 IBP보다 일관되게 높은 분류 정확도를 달성했다.
• n=5일 때, rIBP는 보류된 문서 중 91.8%를 상위 5개의 가장 가능성 높은 라벨에 정확히 분류했으며, 표준 IBP는 87.8%였다.
• 가중치가 부여된 사후 샘플을 사용한 중요도 샘플링 덕분에 제한된 모델 하에서 예측 분포를 정확하게 추정할 수 있었다.
• 도메인 지식을 특징 수에 통합함으로써 더 단순하고 해석 가능한 모델을 얻을 수 있음을 확인했다.
• 결과적으로 IBP에서 특징 수에 대한 포isson 가정이 꼬리가 두꺼운 특징 분포를 가진 데이터(예: 자연어 텍스트)에 대해 최적화되어 있지 않음을 확인했다.