[논문 리뷰] Efficient Sampling for k-Determinantal Point Processes

Chengtao Li, Stefanie Jegelka외 1명|arXiv (Cornell University)|2015. 09. 04.

Point processes and geometric inequalities참고 문헌 44인용 수 20

한 줄 요약

이 논문은 원래 분포와의 전체 변화 거리(total variation distance)를 최소화하는 코어셋을 구성함으로써 k-결정점 과정(k-Determinantal Point Processes, k-DPPs)으로부터 효율적인 근사 샘플링을 위한 이단계 알고리즘인 CoreDpp를 제안한다. 기존 데이터 집합 크기를 M ≪ N인 작은 대표성 있는 코어셋으로 줄임으로써, N에 관계없이 O(k²M)의 샘플링 시간을 달성하여, 대규모 데이터셋에서 기존 방법보다 정확도와 속도 면에서 뛰어나면서도 진정한 k-DPP 분포를 충실하게 유지한다.

ABSTRACT

Determinantal Point Processes (DPPs) are elegant probabilistic models of repulsion and diversity over discrete sets of items. But their applicability to large sets is hindered by expensive cubic-complexity matrix operations for basic tasks such as sampling. In light of this, we propose a new method for approximate sampling from discrete $k$-DPPs. Our method takes advantage of the diversity property of subsets sampled from a DPP, and proceeds in two stages: first it constructs coresets for the ground set of items; thereafter, it efficiently samples subsets based on the constructed coresets. As opposed to previous approaches, our algorithm aims to minimize the total variation distance to the original distribution. Experiments on both synthetic and real datasets indicate that our sampling algorithm works efficiently on large data sets, and yields more accurate samples than previous approaches.

연구 동기 및 목표

• 핵심 커널 행렬의 고유분해로 인해 데이터셋 크기에 따라 세제곱적으로 증가하는 정확한 k-DPP 샘플링의 높은 계산 비용을 해결하기 위해.
• 기존 근사 방법들이 매트릭스 노름 오차를 최소화하는 데 반해, 분포 간의 산란도를 최소화하지 못하는 문제를 개선하기 위해.
• 데이터 인식 코어셋을 통해 효과적인 데이터 크기를 줄여 대규모 응용 프로그램에 대한 효율적인 샘플링을 가능하게 하기 위해.
• 샘플링 시간이 전체 데이터셋 크기 N에 종속되지 않도록 하여 반복적 샘플링에 실용적으로 활용할 수 있도록 하기 위해.
• 근사된 k-DPP 분포와 진정한 k-DPP 분포 사이의 전체 변화 거리(total variation distance)를 최소화하여 다각도를 충실하게 모델링하는 확률적 모델링을 보장하기 위해.

제안 방법

• 데이터를 분할하고 k-DPP 분포의 구조를 유지하는 대표 포인트를 선택함으로써, M ≪ N인 코어셋을 구성한다.
• 원래 k-DPP와의 전체 변화 거리(total variation distance)를 최소화하는 코어셋 구축 알고리즘을 사용하며, 시간 복잡도는 N에 대해 선형인 O(NM³)이다.
• 코어셋에서 k-DPP 샘플링을 위한 이중 형식(dual formulation)을 활용하여, N에 관계없이 O(k²M)의 샘플링 시간을 달성한다.
• DPP가 내재적으로 다각도를 가지며, 중복되거나 군집된 항목이 확률 질량에 기여도가 낮다는 점을 활용하여 코어셋 선택을 이끌어낸다.
• 각 클러스터 내에서 근사적인 다양성을 확보하기 위해 근사 선택 전략(greedy selection strategy)을 적용하여 다각도 있고 대표적인 코어 포인트를 유지한다.
• 대규모 데이터셋에서 근사 품질을 평가하기 위해 균일 샘플링을 통한 전체 변화 거리의 경험적 추정을 사용한다.

실험 결과

연구 질문

• RQ1 k-DPP에 대해 전체 변화 거리가 원래 분포와 근사 분포 사이에서 최소화되는 코어셋을 구성할 수 있는가?
• RQ2 코어셋 기반 샘플링이 Nyström이나 Random Kitchen Sinks와 같은 커널 매트릭스 근사 방법보다 더 높은 근사 정확도를 달성하는가?
• RQ3 전체 데이터셋 크기 N에 종속되지 않는 샘플링 시간을 확보하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 코어셋 크기 M과 카디널리티 k에 따라 근사 품질이 어떻게 변화하는가?
• RQ5 설정 시간과 샘플당 시간 측면에서 MCMC 기반 샘플링보다 본 논문의 방법이 더 효율적인가?

주요 결과

• 코어셋 크기 M이 커지고 k가 작아질수록, K++ 및 NysStoch와 같은 최첨단 방법보다 CoreDpp가 더 낮은 전체 변화 거리를 달성한다.
• 코어셋 구축에 따른 오버헤드 시간은 N에 대해 선형으로 증가하므로, 대규모 데이터셋에서도 사전 처리에 적합하다.
• 샘플링 시간은 O(k²M)으로 N에 종속되지 않아, N이 큰 경우 NysStoch 및 MCDPP보다 수개의 주기 빠르게 작동한다.
• 다중 샘플링의 경우, CoreDpp는 다른 방법들에 비해 점점 더 효율적이며, 누적 샘플링 시간은 N에 대해 비선형적으로 증가한다.
• MNIST 및 GENES 데이터셋에서, NysStoch가 커널 매트릭스 오차를 최소화하지만도 CoreDpp는 전체 변화 거리에서 일관되게 뛰어난 성능을 보였다.
• 경험적 결과는 전체 변화 거리 최소화가 매트릭스 노름 최소화보다 더 정확한 샘플링을 이끌어내며, 본 방법의 설계 선택의 타당성을 입증한다.