[논문 리뷰] Learning Nonsymmetric Determinantal Point Processes

Mike Gartrell, Victor-Emmanuel Brunel외 2명|arXiv (Cornell University)|2019. 05. 30.

Data Management and Algorithms참고 문헌 25인용 수 9

한 줄 요약

이 논문은 비대칭 커널 행렬의 저랭크 분해를 활용하여 비대칭 결정성 점 과정(DPP)을 학습하기 위한 계산 가능하고 최대우도추정(MLE) 방법을 제안한다. 이 방법은 항목 간 상호작용을 상호보완적(유인) 및 상호배제적(기피) 모두로 모델링할 수 있게 하여, 서로 다른 항목 그룹을 가진 실제 및 시뮬레이션 데이터셋에서 대칭 DPP보다 예측 성능을 크게 향상시킨다.

ABSTRACT

Determinantal point processes (DPPs) have attracted substantial attention as an elegant probabilistic model that captures the balance between quality and diversity within sets. DPPs are conventionally parameterized by a positive semi-definite kernel matrix, and this symmetric kernel encodes only repulsive interactions between items. These so-called symmetric DPPs have significant expressive power, and have been successfully applied to a variety of machine learning tasks, including recommendation systems, information retrieval, and automatic summarization, among many others. Efficient algorithms for learning symmetric DPPs and sampling from these models have been reasonably well studied. However, relatively little attention has been given to nonsymmetric DPPs, which relax the symmetric constraint on the kernel. Nonsymmetric DPPs allow for both repulsive and attractive item interactions, which can significantly improve modeling power, resulting in a model that may better fit for some applications. We present a method that enables a tractable algorithm, based on maximum likelihood estimation, for learning nonsymmetric DPPs from data composed of observed subsets. Our method imposes a particular decomposition of the nonsymmetric kernel that enables such tractable learning algorithms, which we analyze both theoretically and experimentally. We evaluate our model on synthetic and real-world datasets, demonstrating improved predictive performance compared to symmetric DPPs, which have previously shown strong performance on modeling tasks associated with these datasets.

연구 동기 및 목표

• 대칭 DPP는 항목 간 음성 상관관계(기피)만 모델링할 수 있다는 한계를 해결하기 위해, 유인 및 기피 상호작용을 모두 모델링할 수 있도록 하는 것.
• 관측된 부분집합에서 완전히 비대칭 DPP 커널을 학습하기 위한 계산 가능한 최대우도추정(MLE) 알고리즘을 개발하는 것.
• 제한된 비대칭 DPP 클래스에서 MLE 추정기의 이론적 일致성 보장을 제공하는 것.
• 비대칭 DPP가 대칭 DPP보다 더 복잡한 상관관계 구조를 더 잘 포착함을 실증적으로 보여주는 것, 특히 서로 분리된 항목 그룹을 포함한 데이터에서.

제안 방법

• 비대칭 커널 행렬을 $\mathbf{L} = \mathbf{A}\mathbf{B}^T$ 형태로 분해하여, 저랭크 매개변수화와 계산 가능한 우도 계산을 가능하게 한다. 여기서 $\mathbf{A}, \mathbf{B} \in \mathbb{R}^{M \times D}$이다.
• 각 관측된 부분집합 $J$에 대해 부분행렬 $\mathbf{L}_J$의 행렬식 기반으로 우도 함수를 정의하고, MLE를 통해 $\mathbf{A}$ 및 $\mathbf{B}$의 매개변수를 최적화한다.
• 저랭크 구조를 활용하여 계산 복잡도를 $O(M^3)$으로 감소시켜 대규모 데이터셋에 적용 가능하게 한다.
• 이론적 분석을 통해 제한된 비대칭 DPP 클래스에서 MLE 추정기의 일관성 보장을 한다.
• 기존의 부호가 있는 DPP 연구에서처럼 커널 원소의 절대값에 대한 대칭성 가정을 피함으로써 모델의 유연성을 높인다.

실험 결과

연구 질문

• RQ1 비대칭 DPP에 대해 계산 가능한 MLE 기반 학습 알고리즘을 개발할 수 있는가, 이는 대칭 커널 제약을 완화하는가?
• RQ2 비대칭 DPP를 통해 유인 및 기피 상호작용을 허용함으로써, 서로 분리된 항목 그룹을 가진 실제 데이터의 모델링이 향상되는가?
• RQ3 실제 데이터셋에서 MPR 및 AUC와 같은 예측 지표에서 비대칭 DPP의 성능은 대칭 DPP보다 어떻게 다를까?
• RQ4 제한된 모델 클래스 하에서 비대칭 DPP의 MLE 추정기의 통계적 일관성 행동은 어떠한가?

주요 결과

• 3개 카테고리로 구성된 아마존 베이비 레지스트리 데이터셋에서, 비대칭 DPP는 카테고리 1 내부의 쌍별 상호작용 중 80.5%를 양성 상관관계로 인코딩하여, 카테고리 내부의 구조를 강력하게 복원함을 보였다.
• 카테고리 간 쌍, 예를 들어 카테고리 1과 2 간의 경우, 모델은 97.2%의 상호작용을 음성 상관관계로 인코딩하여 데이터의 분리된 성격을 정확히 반영했다.
• 아마존 아웃핏 및 3개 카테고리 데이터셋에서 비대칭 DPP는 평균 정밀도 랭크(MPR)가 각각 72.20 ± 3.07 및 74.10 ± 2.49를 기록하여, 대칭 DPP(62.63 ± 1.81 및 61.0 ± 2.73)보다 유의미하게 높은 성능을 보였다.
• 아마존 아웃핏에서 비대칭 DPP의 AUC 점수는 0.77 ± 0.03, 3개 카테고리 데이터셋에선 0.82 ± 0.02를 기록했으며, 대비로 대칭 DPP는 각각 0.68 ± 0.05 및 0.76 ± 0.03를 기록하여 순위 정렬 성능 향상을 확인했다.
• 명확한 분리된 구성 요소를 가진 데이터셋에서 MPR 및 AUC에서 10–15%의 상대적 향상이 이루어져, 복잡한 상관관계 구조를 복원하는 데서의 뛰어난 능력을 확인했다.
• 학습 알고리즘은 $O(M^3)$ 시간에 실행되며, 이는 이전 방법의 $O(M^6)$ 복잡도에 비해 상당한 향상으로, 실제 데이터셋에의 적용 가능성을 보장한다.