[논문 리뷰] Optimized Algorithms to Sample Determinantal Point Processes

Nicolas Tremblay, Simon Barthelmé외 1명|arXiv (Cornell University)|2018. 02. 23.

Point processes and geometric inequalities인용 수 15

한 줄 요약

이 논문은 표준 고유분해 기반 알고리즘에서 DPP(결정성 점진적 과정)에 대한 정확한 샘플링의 계산 비용을 𝒪(Nμ³)에서 𝒪(Nμ²)로 줄이는 최적화된 알고리즘을 제안한다. 이는 그람-슈미트 수직화 단계를 단순화함으로써 달성된다. 이 방법은 벡터 갱신을 사용하는 수치적으로 안정적인 반복적 투영 방식을 활용하여 효율적이고 실용적인 DPP 샘플링을 가능하게 하며, 특히 저질서 L-엔세임의 경우에 유리하다. 또한 수치 안정성을 확보하기 위한 구현 팁도 제공한다.

ABSTRACT

In this technical report, we discuss several sampling algorithms for Determinantal Point Processes (DPP). DPPs have recently gained a broad interest in the machine learning and statistics literature as random point processes with negative correlation, i.e., ones that can generate a "diverse" sample from a set of items. They are parametrized by a matrix $\mathbf{L}$, called $L$-ensemble, that encodes the correlations between items. The standard sampling algorithm is separated in three phases: 1/~eigendecomposition of $\mathbf{L}$, 2/~an eigenvector sampling phase where $\mathbf{L}$'s eigenvectors are sampled independently via a Bernoulli variable parametrized by their associated eigenvalue, 3/~a Gram-Schmidt-type orthogonalisation procedure of the sampled eigenvectors. In a naive implementation, the computational cost of the third step is on average $\mathcal{O}(Nμ^3)$ where $μ$ is the average number of samples of the DPP. We give an algorithm which runs in $\mathcal{O}(Nμ^2)$ and is extremely simple to implement. If memory is a constraint, we also describe a dual variant with reduced memory costs. In addition, we discuss implementation details often missing in the literature.

연구 동기 및 목표

• 표준 고유분해 기반 알고리즘에서 정확한 DPP 샘플링의 계산 비용을 𝒪(Nμ³)에서 𝒪(Nμ²)로 줄이는 것.
• 정확성과 수치 안정성을 유지하면서도 간단하고 쉽게 구현 가능한 DPP 샘플링 알고리즘을 제공하는 것.
• 유한 정밀도 산술에 의한 음수 확률 발생과 같은 일반적인 수치 문제를 해결하는 것.
• 특히 고정밀도 또는 대규모 설정에서 자주 생략되는 실용적인 구현 세부 정보를 제공하는 것.
• 중간 정도의 μ(기대 샘플 크기)를 가진 대규모 응용 분야에서 정확한 DPP 샘플링의 가능성을 탐색하는 것.

제안 방법

• 표준 그람-슈미트 수직화를 대체하기 위해 반복적 투영 방식을 사용하는 새로운 알고리즘(알고리즘 3)을 제안한다.
• 투영 기반 갱신을 활용: fₙ = yₛₙ − Σₗ₌₁ⁿ⁻¹ fₗ (fₗᵀ yₛₙ)로, 명시적 행렬 역행렬 계산을 피하고 효율적인 계산을 가능하게 한다.
• 전체 V 행렬을 저장하지 않고 변환된 행렬 C̃을 사용하는 이중 형태(알고리즘 4)를 도입하여 메모리 사용량을 줄인다.
• 음수인 p(i) 값을 0으로 설정하고 BLAS 최적화된 행렬-행렬 연산을 사용하여 투영 단계를 수치적으로 안정적으로 구현한다.
• 고유분해를 통해 L-엔세임에 적용하며, 확률 λₙ/(1+λₙ)을 가진 베르누이 시험을 통해 고유벡터를 무작위로 샘플링한 후 최적화된 투영 단계를 적용한다.
• 행렬 항등식과 벡터 투영의 성질을 사용한 형식적 증명을 통해 신규 알고리즘과 표준 DPP 샘플링 간의 동치성을 입증한다.

실험 결과

연구 질문

• RQ1 정확성이나 수치 안정성을 희생시키지 않고 정확한 DPP 샘플링의 계산 비용을 𝒪(Nμ³)에서 𝒪(Nμ²)로 줄일 수 있는가?
• RQ2 표준 그람-슈미트 기반 DPP 샘플링 알고리즘의 더 단순하고 구현이 쉬운 대안이 존재하는가?
• RQ3 특히 μ가 클 경우 유한 정밀도 산술에서 발생하는 수치 불안정성은 어떻게 완화할 수 있는가?
• RQ4 정확성과 효율성을 유지하면서 DPP 샘플링의 메모리 사용량을 줄일 수 있는가?
• RQ5 대규모 설정에서 정확한 DPP 샘플링의 성능은 게이블스 샘플링과 같은 근사 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 𝒪(Nμ²)의 계산 복잡도를 달성하여 기존의 𝒪(Nμ³) 비용에 비해 상당한 향상이 이루어졌다.
• 새로운 알고리즘은 구현이 간단하고 수치적으로 안정적이며, 음수 확률을 수동으로 0으로 설정할 경우 尤히 유리하다.
• 이중 형태(알고리즘 4)는 전체 V 행렬을 저장하지 않음으로써 메모리 사용량을 줄여 메모리 제약이 있는 환경에 적합하다.
• 알고리즘의 성능은 게이블스 샘플링과 같은 근사 샘플러와 경쟁 가능하며, 특히 저질서 L-엔세임과 중간 정도의 μ에서 뛰어나다.
• 투영 단계에서 BLAS 최적화된 행렬 곱셈을 사용함으로써 효율적인 병렬 처리가 가능해지고 현대 하드웨어에서 성능 향상이 이루어진다.
• 행렬 및 벡터 투영 항등식을 사용한 형식적 증명을 통해 신규 알고리즘과 표준 DPP 샘플링 간의 이론적 동치성이 입증되었다.