[논문 리뷰] Learning Determinantal Point Processes in Sublinear Time

Christophe Dupuy, Francis R. Bach|arXiv (Cornell University)|2016. 10. 19.

Graph theory and applications인용 수 7

한 줄 요약

이 논문은 마진널 커널의 저랭크 분해를 기반으로 하는 새로운 유형의 결정식점프로세스(DPP)를 소개한다. 이는 아이템 수에 대해 비선형 시간 이내에 정확한 추론과 파라미터 학습을 가능하게 하며, 특히 지수적으로 큰 집합(예: 문서 내 모든 가능한 문장 또는 연속 영역)에서도 효과적으로 작동한다. 이는 두 번째 순서 모멘트 행렬을 닫힌 형태로 계산함으로써 달성되며, 이는 $2^{500}$개의 아이템을 가진 DPP에 대한 문서 요약 응용 사례를 통해 실증되었다.

ABSTRACT

We propose a new class of determinantal point processes (DPPs) which can be manipulated for inference and parameter learning in potentially sublinear time in the number of items. This class, based on a specific low-rank factorization of the marginal kernel, is particularly suited to a subclass of continuous DPPs and DPPs defined on exponentially many items. We apply this new class to modelling text documents as sampling a DPP of sentences, and propose a conditional maximum likelihood formulation to model topic proportions, which is made possible with no approximation for our class of DPPs. We present an application to document summarization with a DPP on $2^{500}$ items.

연구 동기 및 목표

• 결정식점프로세스(DPP)의 확장성 문제를 해결하기 위해, 기존 알고리즘이 아이템 수 $N$에 대해 세제곱 또는 선형으로 증가하는 경우에 대비하여, 대규모 또는 무한한 아이템 집합에서의 DPP 스케일링 문제를 해결한다.
• 아이템 수 $N$에 대해 비선형 시간 이내에 정확한 추론과 파라미터 학습을 가능하게 하며, 특히 지수적으로 큰 집합이나 연속 영역에서의 효율적 모델링을 가능하게 한다.
• 문서 요약에서 주제 비율을 모델링하기 위해 조건부 최대우도 추정을 지원하는 새로운 DPP 클래스를 개발한다.
• 실세계 작업, 예를 들어 $2^{500}$개의 가능한 문장에서 다양성 있는 문장 조합을 샘플링하여 문서 요약을 수행하는 데서의 실용적 적용 가능성을 입증한다.

제안 방법

• 마진널 커널 $K$의 특정 저랭크 분해를 기반으로 하는 새로운 DPP 클래스를 제안하며, $K = UU^\top$ 이고 $U \in \mathbb{R}^{V \times r}$ 이므로, 효과적인 차원 수를 감소시킨다.
• 두 번째 순서 모멘트 행렬 $\mathbb{E}[U U^\top]$의 닫힌 형태 계산을 활용하여 $\mathcal{O}(N)$ 연산을 피함으로써 비선형 시간 추론과 학습을 가능하게 한다.
• 주제 비율을 모델링하기 위해 조건부 최대우도 설정을 사용하며, $L$-표현과 저랭크 구조를 통해 정확한 우도 계산을 수행한다.
• 파라미터 $\theta$에 대해 스파arsity 유도 정규화자 $\mathcal{R}$를 적용한 페널티 최적화 프레임워크를 활용하여 근사 없이도 파라미터 복원 성능을 향상시킨다.
• 유도된 임bedding과 진짜 임bedding 간의 부분공간 정렬을 평가하기 위해 거리 척도 $D(U, U^*) = \|U(U^\top U)^{-1}U^\top U^* - U^*\|_F / \|U^*\|_F$ 를 사용하며, 이는 회전 및 스케일링에 대해 불변이다.
• DPP에 대해 커널 트릭 원리를 적용하여 고차원 임bedding을 저랭크 표현을 통해 효율적으로 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 아이템 수 $N$에 대해 비선형 시간 이내에 DPP의 정확한 우도 계산과 추론이 가능할 수 있는가, 특히 정확한 우도 계산을 유지하면서?
• RQ2 마진널 커널의 저랭크 분해가 지수적으로 큰 집합, 예를 들어 $\{0,1\}^V$와 같은 집합에서의 효율적 학습을 어떻게 가능하게 하는가?
• RQ3 제안된 DPP 클래스는 문서 요약에서 주제 비율을 모델링하기 위해 조건부 최대우도 추정을 지원할 수 있는가?
• RQ4 페널티 최적화 전략은 고차원, 저랭크 DPP에서 파라미터 복원 성능을 얼마나 향상시키는가?
• RQ5 이 방법은 $N$이 무한한 연속 영역인 $[0,1]^m$과 같이 어떻게 스케일링되는가?

주요 결과

• 이 방법은 랭크 $r$에 대해 다항식 시간 내에 정확한 우도 계산과 추론을 수행하며, 대규모 또는 무한한 아이템 집합에서 $N$에 대해 비선형 시간 학습이 가능하다.
• 연속 영역 $[0,1]^2$에서 이 방법은 진짜 로그우도에 수렴하며, 기준 대비 대비 다이아몬드 DPP ($L = \eta^* I$)보다 뚜렷하게 우수한 성능을 보였다.
• 디지털 집합 $\{1,\ldots,V\}$에서 $r^* = 5$일 경우, 진짜 임bedding $U^*$는 $r \geq 30$일 때에만 복원되었으며, 이는 파라미터 복원에 충분한 랭크가 필요함을 보여준다.
• 지수 집합 $\{0,1\}^V$에서 $V=10$이고 $r^*=2$일 경우, $r \geq 6$일 때 진짜 $U^*$가 복원되었으며, 이는 고차원 조합 영역에서도 강건함을 확인한다.
• 피카르 반복법(Mariet와 Sra, 2015)은 전체 행렬을 다루지만, 이 방법은 $\{1,\ldots,V\}$ 집합에서 로그우도 측면에서 더 뛰어난 성능을 보였다.
• 실제 문서 요약 작업에서, 이 모델은 음식, 서비스 등 사용자 의견을 담고 있는 문장을 추출하는 반면, 기준 방법들은 종종 문맥적 서술만을 추출한다.