[논문 리뷰] Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity

Laming Chen, Guoxin Zhang외 1명|arXiv (Cornell University)|2017. 09. 15.

Point processes and geometric inequalities인용 수 77

한 줄 요약

논문은 FaX를 도입한다. DPP에 대한 O(M^3) 시간의 빠르고 정확한 탐욕스러운 MAP 추론 알고리즘으로, 슬라이딩 윈도우 다양성에 대해 O(wNM) 시간이며, 확장 가능한 다양한 추천을 가능하게 한다. 현 state-of-the-art 방법보다 더 빠른 성능과 더 나은 관련성-다양성 트레이드오프를 보여주며, 오프라인과 온라인에서 검증된다.

ABSTRACT

The determinantal point process (DPP) is an elegant probabilistic model of repulsion with applications in various machine learning tasks including summarization and search. However, the maximum a posteriori (MAP) inference for DPP which plays an important role in many applications is NP-hard, and even the popular greedy algorithm can still be too computationally expensive to be used in large-scale real-time scenarios. To overcome the computational challenge, in this paper, we propose a novel algorithm to greatly accelerate the greedy MAP inference for DPP. In addition, our algorithm also adapts to scenarios where the repulsion is only required among nearby few items in the result sequence. We apply the proposed algorithm to generate relevant and diverse recommendations. Experimental results show that our proposed algorithm is significantly faster than state-of-the-art competitors, and provides a better relevance-diversity trade-off on several public datasets, which is also confirmed in an online A/B test.

연구 동기 및 목표

• DPP를 사용하여 다양하면서도 관련성 높은 추천의 필요성을 동기 부여하고 형식화한다.
• 유리한 점근적 복잡도를 갖는 정확하고 빠른 탐욕적 MAP 추론 알고리즘을 개발한다.
• 다양성이 슬라이딩 윈도우 내에서만 요구되는 시나리오로 방법을 확장한다.
• 오프라인 실험과 온라인 A/B 테스트를 통해 실용적 이점을 입증한다.

제안 방법

• DPP 커널을 L로 표현하고 로그 결정값 이득을 사용한 탐욕적 선택으로 MAP 추론을 수행한다.
• d_i^2를 통해 Det(L_{Y+{i}})를 계산하고 벡터 c_i 및 스칼라 d_i^2를 업데이트하기 위해 점진적 Cholesky 인자 업데이트를 사용한다.
• 제약 없는 MAP의 전체 복잡도 O(M^3)와 N개의 항목을 반환하는 데 O(N^2 M)을 달성한다.
• 유효성 다양성이 폭 w의 윈도우 내에서만 필요할 때 복잡도 O(wNM)의 슬라이딩 윈도우 버전을 제공한다.
• 관련 점수와 항목 간 유사성으로부터 L을 구성하는 실용적 단계를 개요화하여 DPP 기반 순위를 가능하게 한다.
• 관련성과 다양성의 균형을 맞추기 위해 매개변수 theta를 사용하여 필요시 방법을 적응시키고 L' = Diag(exp(alpha r)) S Diag(exp(alpha r))를 얻는다.

실험 결과

연구 질문

• RQ1 정확도를 유지하면서도 계산 시간 복잡도를 크게 낮춘 상태에서 DPP에 대한 정확한 탐욕적 MAP 추론을 구현할 수 있는가?
• RQ2 대규모 실시간 추천 환경에서 MAP 추론 속도를 높이기 위해 Cholesky 인자 업데이트를 어떻게 활용할 수 있는가?
• RQ3 다양성을 슬라이딩 윈도우(단거리 다양성)로 제한하는 것이 성능과 계산 비용에 영향을 미치는가?
• RQ4 오프라인 및 온라인 평가 모두에서 DPP 기반 추천이 기존 방법보다 관련성과 다양성 사이의 유리한 트레이드오프를 제공하는가?

주요 결과

• FaX는 합성 데이터에서 정확성을 유지한 채 Lazy에 비해 약 100배, ApX에 비해 약 3배의 속도 증가를 달성한다.
• 알고리즘은 제약 없는 MAP의 경우 O(M^3) 시간, N개의 항목을 반환하는 데 O(N^2 M)을 소요하며 여분 공간은 O(NM)이다.
• 폭 w인 슬라이딩 윈도우 다양성 제약 하에서는 복잡도가 O(wNM)으로 감소하고 긴 시퀀스에서도 효과적이다.
• Netflix Prize와 Million Song 데이터셋에서 DPP 기반 추천은 MMR, MSD, Entropy, Cover 베이스라인보다 더 나은 관련성-다양성 트레이드오프를 보인다.
• 온라인 A/B 테스트에서 DPP 기반 추천이 컨트롤 및 MMR 베이스라인보다 사용자 참여 지표를 개선했다.
• 긴 시퀀스 추천에서 창(windowing)이 있는 DPP가 nDCG와 지역 다양성 지표에서 대안을 앞선다.