[論文レビュー] Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity

Laming Chen, Guoxin Zhang+1 more|arXiv (Cornell University)|Sep 15, 2017

Point processes and geometric inequalities被引用数 77

ひとこと要約

論文は FaX を紹介する。DPP の高速厳密貪欲 MAP 推論アルゴリズムで、 O(M^3) 時間（スライディングウィンドウ多様性は O(wNM)）で、スケーラブルで多様な推奨を可能にする。最先端手法より高速な性能と関連性-多様性のトレードオフを示し、オフライン・オンラインの両方で検証。

ABSTRACT

The determinantal point process (DPP) is an elegant probabilistic model of repulsion with applications in various machine learning tasks including summarization and search. However, the maximum a posteriori (MAP) inference for DPP which plays an important role in many applications is NP-hard, and even the popular greedy algorithm can still be too computationally expensive to be used in large-scale real-time scenarios. To overcome the computational challenge, in this paper, we propose a novel algorithm to greatly accelerate the greedy MAP inference for DPP. In addition, our algorithm also adapts to scenarios where the repulsion is only required among nearby few items in the result sequence. We apply the proposed algorithm to generate relevant and diverse recommendations. Experimental results show that our proposed algorithm is significantly faster than state-of-the-art competitors, and provides a better relevance-diversity trade-off on several public datasets, which is also confirmed in an online A/B test.

研究の動機と目的

• DPP を用いて、多様でかつ関連性の高い推奨の必要性を動機づけ、形式的に整理する。
• 有利な漸近的複雑性を持つ、厳密で高速な貪欲 MAP 推論アルゴリズムを開発する。
• 多様性がスライディングウィンドウ内のみで必要とされるシナリオへ手法を拡張する。
• オフライン実験とオンライン A/B テストを通じて実用的な利点を示す。

提案手法

• DPP のカーネルを L と表現し、対数決定式の利得を用いた貪欲選択で MAP 推論を行う。
• 増分的 Cholesky 因子の更新を用いて det(L_{Y+{i}}) を d_i^2 を介して計算し、ベクトル c_i とスカラー d_i^2 を更新する。
• 制約なし MAP で全体計算量 O(M^3)、N 件を返すには O(N^2 M) を達成する。
• 幅 w のウィンドウ内でのみ多様性が必要な場合、複雑さは O(wNM) のスライディングウィンドウ版を提供する。
• 関連スコアとアイテム類似度から L を構築する実用的な手順を概説し、DPP ベースのランキングを実現する。
• 関連性と多様性のバランスをとるためにパラメータ theta を用いて方法を適応することもでき、L' = Diag(exp(alpha r)) S Diag(exp(alpha r)) を得る。

実験結果

リサーチクエスチョン

• RQ1 厳密な貪欲 MAP 推論を DPP に対して実装し、精度を保ちながら時間計算量を大幅に削減できるか。
• RQ2 大規模でリアルタイムな推奨設定において、Cholesky 因子更新をどのように活用して MAP 推論を高速化できるか。
• RQ3 多様性をスライディングウィンドウ（短距離の多様性）に制限することは、性能と計算コストに影響を与えるか。
• RQ4 既存手法と比較して、オフライン・オンラインの評価の両方で、DPP ベースの推奨は関連性と多様性の間で有利なトレードオフを提供するか。

主な発見

• FaX は合成データ上で Lazy に対して約 100 倍、ApX に対して約 3 倍の速度アップを達成しつつ厳密性を保つ。
• アルゴリズムは O(M^3) 時間（制約なし MAP）と N 件を返すのに O(N^2 M)、追加の空間は O(NM)。
• 幅 w のスライディングウィンドウ多様性制約を適用すると複雑さは O(wNM) に低減され、長いシーケンスでも有効である。
• Netflix Prize と Million Song のデータセットで、DPP ベースの推奨は MMR、MSD、Entropy、Cover のベースラインより関連性-多様性のトレードオフが良好である。
• オンライン A/B テストにより、DPP ベースの推奨がコントロールおよび MMR ベースラインよりユーザーエンゲージメント指標を改善した。
• 長いシーケンスの推奨では、ウィンドウ付きの DPP が nDCG と局所的多様性指標で他の手法を上回る。