[논문 리뷰] Scalable Learning and MAP Inference for Nonsymmetric Determinantal Point Processes

Mike Gartrell, In‐Su Han외 3명|arXiv (Cornell University)|2020. 06. 17.

3D Shape Modeling and Analysis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 비대칭 결정점 과정(DPPs)에 대한 새로운 커널 분해법을 제안하여 아이템 수 M에 대해 학습 및 추론 복잡도를 이차에서 선형으로 감소시킨다. 이 방법은 확장 가능한 학습과 효율적인 사후 최대도 추론(Maximum a Posteriori, MAP)을 가능하게 하며, 이전 연구와 유사한 성능을 달성하면서도 대규모 데이터셋에서 수십만 배 빠른 속도를 기록한다.

ABSTRACT

Determinantal point processes (DPPs) have attracted significant attention in machine learning for their ability to model subsets drawn from a large item collection. Recent work shows that nonsymmetric DPP (NDPP) kernels have significant advantages over symmetric kernels in terms of modeling power and predictive performance. However, for an item collection of size $M$, existing NDPP learning and inference algorithms require memory quadratic in $M$ and runtime cubic (for learning) or quadratic (for inference) in $M$, making them impractical for many typical subset selection tasks. In this work, we develop a learning algorithm with space and time requirements linear in $M$ by introducing a new NDPP kernel decomposition. We also derive a linear-complexity NDPP maximum a posteriori (MAP) inference algorithm that applies not only to our new kernel but also to that of prior work. Through evaluation on real-world datasets, we show that our algorithms scale significantly better, and can match the predictive performance of prior work.

연구 동기 및 목표

• 기존의 비대칭 DPP 학습 및 추론 방법이 아이템 수 M에 대해 이차 또는 삼차적으로 증가하는 높은 계산 및 메모리 비용 문제를 해결하기 위해.
• 모델링 능력을 유지하면서도 선형 시간 및 선형 공간 알고리즘을 가능하게 하는 새로운 커널 분해법을 개발하기 위해.
• 비대칭 DPP에 대해 첫 번째 효율적인 MAP 추론 알고리즘을 설계하여, 제안된 방법뿐 아니라 이전 커널 분해법에도 적용 가능하도록 하기 위해.
• 새로운 방법이 이전 예측 성능를 유지하면서도 대규모 실세계 데이터셋에서 훨씬 더 잘 스케일링됨을 경험적으로 검증하기 위해.

제안 방법

• 전체 M×M 커널 행렬을 명시적으로 계산하지 않도록 해서 선형 시간 학습 및 추론을 가능하게 하는 저랭크 인수분해를 이용한 새로운 비대칭 DPP 커널 분해법을 제안한다.
• 행렬의 행렬식과 저랭크 갱신의 대수적 성질을 활용하여 학습 및 추론 과정에서 로그 행렬식을 효율적으로 계산한다.
• 저랭크 비대칭 DPP에 대해 선형 시간에 작동하는 근사적 MAP 추론 알고리즘을 설계하며, 대칭 DPP의 탐욕적 접근을 비대칭 케이스로 확장한다.
• 확장 가능한 부분집합 확장과 파rameter 추정을 가능하게 하기 위해 DPP 조건화 및 커널 파arameter화 기법을 적용한다.
• 성능 비교를 위해 MAP 추론 평가에서 스토케스틱 추근 및 MCMC 샘플링을 기준선으로 활용한다.
• 여러 랜덤 초기화 및 시행을 통해 아마존, 영국 소매, 인스타카트 등의 실세계 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비대칭 DPP에 대한 새로운 커널 분해법이 모델링 능력을 유지하면서도 M에 대해 선형 시간 학습 및 추론을 달성할 수 있는가?
• RQ2 비대칭 DPP에 대해 M에 대해 선형적으로 스케일링되는 효율적인 MAP 추론 알고리즘을 설계할 수 있는가?
• RQ3 새로운 분해법의 예측 성능가 이전의 비대칭 DPP 커널 방법과 실세계 부분집합 선택 작업에서 어떻게 비교되는가?
• RQ4 다양한 MAP 추론 알고리즘 간에 추론 속도와 해의 품질 사이의 상호 교환 관계는 어떠한가?
• RQ5 기존 방법이 메모리 및 실행 시간 제약으로 인해 비현실적이게 되는 대규모 데이터셋(예: M ≈ 1M)에 대해 제안된 방법이 스케일링 가능한가?

주요 결과

• 제안된 커널 분해법은 M에 대해 시간 및 메모리 복잡도가 선형이 되도록 하여 저장소 요구량을 M=1M일 때 8TB에서 타당한 수준으로 감소시킨다.
• 제안된 학습 알고리즘이 아마존, 영국 소매, 인스타카트와 같은 실세계 데이터셋에서 이전 연구의 예측 성능를 그대로 유지한다.
• 제안된 탐욕적 MAP 추론 알고리즘은 로컬 탐색에 비해 상대적 로그 행렬식 오차가 최대 0.045 이내이며, 후자의 100배 빠른 속도를 기록한다.
• 스토케스틱 탐욕 및 MCMC 샘플링 방법은 오차가 최대 1.93까지 높고 효율성이 떨어져, 제안된 탐욕 알고리즘이 우월함을 확인한다.
• 벽시계 시간 측정 결과, 제안된 탐욕 알고리즘이 백만 곡 음악 데이터셋에서 로컬 탐색 대비 최대 300배 빠르며, 해의 품질 손실는 최소한이다.
• 기존의 비대칭 DPP 방법이 메모리 및 실행 시간 제약으로 인해 비현실적이게 되는 대규모 데이터셋(예: M ≈ 1M)에서도 제안된 방법이 스케일링 가능하다.