[논문 리뷰] Faster Greedy MAP Inference for Determinantal Point Processes

In‐Su Han, Prabhanjan Kambadur외 2명|arXiv (Cornell University)|2017. 03. 09.

Data Management and Algorithms참고 문헌 32인용 수 3

한 줄 요약

이 논문은 LDAS를 통한 일阶 로그행렬식 근사와 확률적 추적 추정기를 활용하여 대규모 결정점과정(DPPs)에서 MAP 추론을 위한 더 빠른 탐욕 알고리즘을 제안한다. 이 방법은 선형 해법을 분산 처리하고 배치 선택을 가능하게 하여 시간 복잡도를 O(d⁴)에서 O(d³)로 감소시켜 기준 탐욕 방법 대비 최대 19배의 속도 향상을 이룬다. 정확도 손실은 극히 미미하다.

ABSTRACT

Determinantal point processes (DPPs) are popular probabilistic models that arise in many machine learning tasks, where distributions of diverse sets are characterized by matrix determinants. In this paper, we develop fast algorithms to find the most likely configuration (MAP) of large-scale DPPs, which is NP-hard in general. Due to the submodular nature of the MAP objective, greedy algorithms have been used with empirical success. Greedy implementations require computation of log-determinants, matrix inverses or solving linear systems at each iteration. We present faster implementations of the greedy algorithms by utilizing the complementary benefits of two log-determinant approximation schemes: (a) first-order expansions to the matrix log-determinant function and (b) high-order expansions to the scalar log function with stochastic trace estimators. In our experiments, our algorithms are orders of magnitude faster than their competitors, while sacrificing marginal accuracy.

연구 동기 및 목표

• 반복적인 로그행렬식, 행렬 역행렬 또는 선형 시스템 계산으로 인해 계산 비용이 매우 높은 대규모 DPPs에서의 MAP 추론이 NP-난이도임을 해결하기 위함.
• 공액 그래디언트(CG)와 같은 효율적인 선형 해법을 사용해 첫째 단계 근사를 통한 비용이 큰 행렬식 계산을 분산 처리함으로써 탐욕 MAP 추론을 가속화하기 위함.
• 한 번의 반복에 여러 항목을 동시에 선택하는 배치 기반 탐욕 알고리즘을 개발하여 비용이 많이 드는 연산 횟수를 줄이고 경쟁 가능한 근사 품질을 유지하기 위함.
• 여러 번의 실행에서 랜덤 벡터를 공유함으로써 LDAS를 통한 고차수 로그행렬식 근사를 개선하여 속도를 향상시키고 정확도 손실을 최소화하기 위함.
• 합성 및 실세계 데이터셋에서 제안된 알고리즘을 실험적으로 검증하여 기존의 탐욕 및 레이지 기반 기준 대비 상당한 속도 향상을 입증하기 위함.

제안 방법

• 탐욕 선택에서의 마진 기여도를 근사하기 위해 행렬 로그행렬식 함수의 일阶 전개를 사용하여 각 반복의 비용을 감소시킴.
• 스슈르 보완 업데이트를 효율적으로 계산하기 위해 공액 그래디언트(CG) 해법기를 활용하여 단일 선형 해법을 통해 여러 마진 기여도 계산을 분산 처리함.
• 남은 항목들을 p ≥ 1개의 클러스터로 분할하고 각 클러스터 내에서 일阶 근사를 적용하여 근사 품질을 향상시키면서도 계산 효율성을 유지함.
• 한 번의 반복에 k > 1개의 요소를 선택하는 배치 탐욕 전략을 도입하여 반복 횟수를 줄이고 LDAS를 활용해 고차수 스칼라 로그 근사를 수행함.
• 여러 번의 LDAS 실행에서 랜덤 벡터를 공유하여 근사 품질을 향상시키고 분산을 감소시켜, 향상의 이론적 근거를 제공함.
• CG 기반 선형 해법과 LDAS 기반 확률적 추적 추정기를 조합하여 속도와 정확도의 균형을 이루며, p = O(1)일 때 O(d³) 시간 복잡도를 달성함.

실험 결과

연구 질문

• RQ1 일阶 로그행렬식 근사와 효율적인 선형 해법을 조합하여 탐욕 DPP MAP 추론의 시간 복잡도를 O(d⁴)에서 O(d³)로 낮출 수 있는가?
• RQ2 LDAS를 통한 고차수 로그행렬식 근사를 사용한 배치 선택은 기존의 탐욕 또는 레이지 접근 방식에 비해 얼마나 더 효율적인가?
• RQ3 여러 번의 LDAS 실행에서 랜덤 벡터를 공유하면 로그행렬식 추정의 근사 품질 향상과 분산 감소에 기여하는가?
• RQ4 제안된 알고리즘은 대규모 DPP 인스턴스에서 상당한 속도 향상을 달성하면서도 근사 품질을 얼마나 잘 유지하는가?
• RQ5 실세계 요약 작업에서 제안된 알고리즘은 기존 기준인 Lazy, Softmax, Double에 비해 실제로 어떻게 성능을 냈는가?

주요 결과

• d = 40,000일 때 Algorithm 2는 Lazy 탐욕 기준 대비 최대 19배 빠르며, 근사 비율 손실은 0.01에 불과하다.
• 실세계 매칭 요약 작업에서 d = 4,000일 때 Algorithm 2는 Lazy보다 8배 더 빠르며, 평균 로그확률 비율 손실은 0.03에 불과하다.
• 영상 요약 작업에서는 Algorithm 1이 Lazy 대비 13배 이상 빠르며, F-점수는 기준과 거의 동일하거나 때로는 더 우수하다.
• 제안된 알고리즘은 실질적으로 최적에 가까운 성능을 유지하며, Softmax는 실세계 데이터에서 심지어 Lazy 기준 대비도 훨씬 느리다.
• LDAS를 활용한 배치 전략은 pk번의 CG 호출을 p번의 LDAS 실행으로 대체함으로써 비용이 많이 드는 CG 실행 횟수를 줄여 k > 1일 때 상당한 속도 향상을 이룬다.
• 이론적 분석을 통해 LDAS에서 랜덤 벡터를 공유하는 것이 근사 품질 향상과 분산 감소에 효과적임을 입증함.