[논문 리뷰] Inference for determinantal point processes without spectral knowledge

Rémi Bardenet, Michalis K. Titsias|arXiv (Cornell University)|2015. 07. 04.

Point processes and geometric inequalities참고 문헌 27인용 수 7

한 줄 요약

이 논문은 커널 연산자의 고비용 고유분해를 피하기 위해 비가역적 우도 정규화 상수에 대해 계산 가능한 경계를 유도하여 스펙트럼 기반 추론 기법 없이 결정성 점 과정(DPPs)에 대한 효율적인 추론 방법을 제안한다. 이 방법은 유한 및 연속 영역에서의 효율적 변분 추론과 중간 정도의 비용이 드는 MCMC를 가능하게 하여 모델의 해석 가능성은 유지하면서도 확장성과의 균형을 크게 향상시킨다.

ABSTRACT

Determinantal point processes (DPPs) are point process models that naturally encode diversity between the points of a given realization, through a positive definite kernel $K$. DPPs possess desirable properties, such as exact sampling or analyticity of the moments, but learning the parameters of kernel $K$ through likelihood-based inference is not straightforward. First, the kernel that appears in the likelihood is not $K$, but another kernel $L$ related to $K$ through an often intractable spectral decomposition. This issue is typically bypassed in machine learning by directly parametrizing the kernel $L$, at the price of some interpretability of the model parameters. We follow this approach here. Second, the likelihood has an intractable normalizing constant, which takes the form of a large determinant in the case of a DPP over a finite set of objects, and the form of a Fredholm determinant in the case of a DPP over a continuous domain. Our main contribution is to derive bounds on the likelihood of a DPP, both for finite and continuous domains. Unlike previous work, our bounds are cheap to evaluate since they do not rely on approximating the spectrum of a large matrix or an operator. Through usual arguments, these bounds thus yield cheap variational inference and moderately expensive exact Markov chain Monte Carlo inference methods for DPPs.

연구 동기 및 목표

• 커널 연산자 L의 스펙트럼 분해로 인해 발생하는 DPP 우도의 계산 불가능성 문제를 해결하기 위해.
• 커널 L의 스펙트럼 지식이 필요하지 않은 DPP에 대한 우도 기반 추론을 가능하게 하기 위해.
• 행렬 또는 연산자 고유분해에 의존하지 않는 계산 효율적인 DPP 우도 경계를 개발하기 위해.
• 이러한 경계를 활용해 변분 및 MCMC 추론을 지원함으로써 실용적인 확장성 확보하기 위해.

제안 방법

• 유한 집합에 대한 DPP 우도에 대한 하한 경계를 유도하기 위해 가우시안 과정에서의 변분 추론 기법을 영감으로 삼는다.
• 잠재 함수와 유도점들 사이의 공동 가우시안 근사 도입을 통해 로그 정규화 상수에 대한 변분 하한 경계를 제안한다.
• 제닝스 부등식과 최적의 변분 분포를 활용해 스펙트럼 분해를 피하는 닫힌 형태의 하한 경계를 도출한다.
• 유한 영역의 경계를 연속 영역으로 확장하기 위해 변분 프레임워크의 연산 이론적 확장 기법을 적용한다.
• 이 경계를 활용해 변분 추론 목표 함수와 스펙트럼 계산을 회피하는 메트로폴리스-하스팅스 MCMC 기법을 구성한다.
• 해석적으로 접근 가능한 Ψ 행렬을 가진 가우시안 커널을 사용하여 합성 및 실세계 데이터에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 커널 연산자 L의 스펙트럼 분해를 피할 수 있는 DPP에 대한 우도 경계를 구성할 수 있는가?
• RQ2 DPP에 대해 L의 고유값에 의존하지 않고 가우시안 과정에서의 변분 추론 기법을 어떻게 적응시킬 수 있는가?
• RQ3 제안된 경계가 연속 영역에서 DPP에 대해 효율적이고 정확한 MCMC 샘플링을 지원할 수 있는가?
• RQ4 기존 방법과 비교해 스펙트럼 기반 추론의 우도 근사 정확도 및 샘플링 품질 측면에서 성능은 어떠한가?

주요 결과

• 제안된 DPP 로그 정규화 상수에 대한 변분 하한 경계는 스펙트럼 분해 없이도 계산 가능하여 확장 가능한 추론이 가능하다.
• 합성 및 실세계 DPP 데이터(뉴스 요약 및 공간 점 패턴 모델링 포함)에서 경쟁적인 우도 근사 정확도를 달성한다.
• 연속 영역의 경우, 연산 이론적 변분 근사를 통해 경계를 확장하여 계산 가능성을 유지한다.
• 이 방법은 변분 및 MCMC 추론을 모두 지원하며, 후자의 경우는 한계에 도달할 때 정확하지만 중간 정도의 비용이 든다.
• 실험 결과, 유사한 우도 추정을 유지하면서도 기존 스펙트럼 기반 추론보다 계산 효율성이 뛰어나다.
• 가우시안 기저 측도를 가진 가우시안 커널의 경우 Ψ 행렬을 해석적으로 계산할 수 있어 실험 설정에서 효율적인 구현이 가능하다.