[논문 리뷰] Approximate Inference in Continuous Determinantal Point Processes

Raja Hafiz Affandi, Emily B. Fox외 1명|arXiv (Cornell University)|2013. 11. 12.

Point processes and geometric inequalities참고 문헌 22인용 수 15

한 줄 요약

이 논문은 뉴스트öm 및 랜덤 푸리에 특징을 통한 저랭크 커널 근사화와 함께 k-DPP에 대한 지브스 샘플러를 활용하여 연속적 결정점진프로세스(DPPs)에 대한 효율적인 근사 샘플링 방법을 제안한다. 이 방법은 고차원 연속 공간에서의 추론을 가능하게 하며, 상호배제적 혼합 모델링 및 다양한 인간 자세 합성에 유용하며, i.i.d. 샘플링에 비해 더 우수한 커버리지 성능을 보인다.

ABSTRACT

Determinantal point processes (DPPs) are random point processes well-suited for modeling repulsion. In machine learning, the focus of DPP-based models has been on diverse subset selection from a discrete and finite base set. This discrete setting admits an efficient sampling algorithm based on the eigendecomposition of the defining kernel matrix. Recently, there has been growing interest in using DPPs defined on continuous spaces. While the discrete-DPP sampler extends formally to the continuous case, computationally, the steps required are not tractable in general. In this paper, we present two efficient DPP sampling schemes that apply to a wide range of kernel functions: one based on low rank approximations via Nystrom and random Fourier feature techniques and another based on Gibbs sampling. We demonstrate the utility of continuous DPPs in repulsive mixture modeling and synthesizing human poses spanning activity spaces.

연구 동기 및 목표

• 연속적 DPP에 대한 추론 가능 샘플링 알고리즘이 부족하여 연속 공간에서의 상호배제적 성질을 모델링하는 데 어려움이 있음을 해결하고자 한다.
• 이산 DPP의 계산 효율성(고유분해 기반)을 커널 근사 기법을 통해 연속 영역으로 확장하고자 한다.
• 고차원 데이터에서의 생성 모델링 및 다양성 있는 부분집합 선택에 실용적인 연속 DPP 적용을 가능하게 하고자 한다.
• 다양한 커널 함수에 적용 가능한 저랭크 근사 기반 및 지브스 샘플링 기반 추론 체계를 개발하고자 한다.
• 실세계 문제들인 인간 자세 합성 및 상호배제적 혼합 모델링을 통해 제안된 방법의 실증적 타당성을 검증하고자 한다.

제안 방법

• 커널 오퍼레이터의 전체 고유분해를 피하기 위해, DPP의 이중 표현을 활용하여 저랭크 커널 근사화를 통한 샘플링을 가능하게 한다.
• 뉴스트öm 및 랜덤 푸리에 특징(RFF) 방법을 사용하여 커널 함수를 근사함으로써 DPP의 우도 및 샘플링을 효율적으로 계산한다.
• 커널 행렬의 셔르 여수(complement)를 활용하여 나머지 점들에 대한 조건부 분포를 계산함으로써 k-DPP에 대한 지브스 샘플러를 유도한다.
• 저랭크 근사를 커널의 이중 형태로 적용하여, 전체 커널 오퍼레이터의 명시적 고유분해 없이도 DPP에서 샘플링할 수 있도록 한다.
• 결과로 도출된 근사 DPP를 제안 분포로 사용하며, 근사 오차를 감소시키기 위해 메트로폴리스-해스팅스 보정을 고려할 수 있다.
• 선택된 점들에 대한 커널 행렬의 행렬식 비례로 확률 밀도가 정의되는 연속 공간 DPP 공식을 적용한다.

실험 결과

연구 질문

• RQ1 뉴스트öm 및 랜덤 푸리에 특징과 같은 저랭크 커널 근사화 기법이 연속 DPP에서의 효율적 샘플링을 위해 효과적으로 활용될 수 있는가?
• RQ2 커널의 셔르 여수를 활용하여 지브스 샘플링 프레임워크를 연속 공간의 k-DPP에 어떻게 적용할 수 있는가?
• RQ3 근사 DPP 샘플러가 인간 운동 합성과 같은 고차원 데이터 다양체를 커버하는 데 있어 i.i.d. 샘플링에 비해 어느 정도 우수한 성능을 보이는가?
• RQ4 연속 DPP는 상호배제적 혼합 모델링에 효과적으로 적용될 수 있으며, 기존 비상호배제적 혼합 모델에 비해 어떤가?
• RQ5 제안된 방법의 계산 스케일링 특성은 차원 수 d에 대해 어떻게 되는가?

주요 결과

• RFF와 뉴스트öm을 활용한 저랭크 근사 기법은 차원 d에 대해 선형 스케일링을 보이며, 62차원 인간 운동 데이터와 같은 고차원 공간에서도 높은 품질의 DPP 샘플링을 가능하게 한다.
• 인간 자세 합성에서 DPP 샘플링은 ε=40일 때 90%의 데이터 커버리지를 달성하였고, i.i.d. 샘플링은 모든 데이터를 커버하기 위해 ε=253까지 필요로 하였다.
• DPP 기반 방법은 i.i.d. 샘플링보다 희귀 자세를 더 잘 커버하여 고차원 활동 공간에서 더 뛰어난 다양성과 강건성을 보였다.
• 상호배제적 혼합 모델링에서 DPP 기반 모델은 표준 비상호배제적 혼합 모델 대비 두 클래스의 아이리스 데이터셋에서 분류 오차가 더 낮게(0.15 vs. 0.23) 나타났다.
• k-DPP에 대한 지브스 샘플러는 셔르 여수를 활용하여 정확한 조건부 샘플링을 가능하게 하여, 구조화된 연속 공간에서 정밀한 추론을 가능하게 하였다.
• 실증 분석을 통해 저랭크 근사화가 DPP의 상호배제적 성질을 유지하였으며, 테스트된 모든 커널에서 샘플링 품질의 최소한의 열화가 발생하였다.