[論文レビュー] Learning Nonsymmetric Determinantal Point Processes

Mike Gartrell, Victor-Emmanuel Brunel+2 more|arXiv (Cornell University)|May 30, 2019

Data Management and Algorithms参考文献 25被引用数 9

ひとこと要約

本稿では、非対称カーネル行列の低ランク分解を活用することで、非対称決定的ポイントプロセス（DPP）のトレーサブルな最尤推定（MLE）手法を導入する。この手法により、反発的および引力的アイテム相互作用の両方をモデル化でき、実世界および合成データセットにおける分割されたアイテム構造を有する設定で、対称DPPよりも顕著に予測性能が向上する。

ABSTRACT

Determinantal point processes (DPPs) have attracted substantial attention as an elegant probabilistic model that captures the balance between quality and diversity within sets. DPPs are conventionally parameterized by a positive semi-definite kernel matrix, and this symmetric kernel encodes only repulsive interactions between items. These so-called symmetric DPPs have significant expressive power, and have been successfully applied to a variety of machine learning tasks, including recommendation systems, information retrieval, and automatic summarization, among many others. Efficient algorithms for learning symmetric DPPs and sampling from these models have been reasonably well studied. However, relatively little attention has been given to nonsymmetric DPPs, which relax the symmetric constraint on the kernel. Nonsymmetric DPPs allow for both repulsive and attractive item interactions, which can significantly improve modeling power, resulting in a model that may better fit for some applications. We present a method that enables a tractable algorithm, based on maximum likelihood estimation, for learning nonsymmetric DPPs from data composed of observed subsets. Our method imposes a particular decomposition of the nonsymmetric kernel that enables such tractable learning algorithms, which we analyze both theoretically and experimentally. We evaluate our model on synthetic and real-world datasets, demonstrating improved predictive performance compared to symmetric DPPs, which have previously shown strong performance on modeling tasks associated with these datasets.

研究の動機と目的

• 対称DPPがアイテム間の負の相関（反発）しかモデル化できないという制限を克服し、引力的および反発的相互作用の両方をモデル化すること。
• 観測されたサブセットから完全に非対称なDPPカーネルを学習するためのトレーサブルな最尤推定（MLE）アルゴリズムを開発すること。
• 制限付きの非対称DPPクラスにおいて、MLE推定量の理論的一貫性を保証すること。
• 実験的に、非対称DPPが、特に分割されたアイテムグループを有するデータにおいて、複雑な相関構造を捉える能力が対称DPPを上回ることを示すこと。

提案手法

• 本手法は、非対称カーネル行列を $\mathbf{L} = \mathbf{A}\mathbf{B}^T$ と分解し、$\mathbf{A}, \mathbf{B} \in \mathbb{R}^{M \times D}$ として低ランクパラメータ化と計算可能な尤度の計算を可能にする。
• 各観測サブセット $J$ に対する部分行列 $\mathbf{L}_J$ の行列式に基づいて尤度関数を定式化し、$\mathbf{A}$ および $\mathbf{B}$ のパラメータをMLEで最適化する。
• 低ランク構造を活用することで、計算複雑度を $O(M^3)$ に低減し、大規模データセットへの適用を可能にする。
• 理論的分析により、制限付きの非対称DPPクラスにおいて、ある正則性条件下でMLE推定量の一貫性が確立される。
• 従来の符号付きDPPに関する研究とは異なり、カーネル要素の絶対値に対称性を課す制限がないため、モデルの柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 非対称DPPのトレーサブルなMLEに基づく学習アルゴリズムを開発可能か？ これは、対称カーネル制約を緩和するものである。
• RQ2 非対称DPPが引力的および反発的アイテム相互作用を許容することで、分割されたアイテムグループを有する現実世界のデータのモデリングが向上するか？
• RQ3 実世界のデータセットにおいて、MPRやAUCなどの予測指標の観点から、非対称DPPと対称DPPの性能はどのように比較されるか？
• RQ4 制限付きのモデルクラスにおいて、非対称DPPのMLE推定量の統計的一致性の挙動はいかなるものか？

主な発見

• 3カテゴリーのAmazonベビー・レジストリデータセットでは、非対称DPPがカテゴリー1内の80.5%のペアワイズ相互作用を正の相関として符号化し、カテゴリー内構造の強力な回復を示した。
• カテゴリー間のペア、例えばカテゴリー1と2の間では、97.2%の相互作用が負の相関として符号化され、データの分割構造を正しく捉えた。
• アパレルおよび3カテゴリーのAmazonデータセットでは、非対称DPPが平均順位ごとの精度（MPR）をそれぞれ72.20 ± 3.07および74.10 ± 2.49を達成し、対称DPP（62.63 ± 1.81および61.0 ± 2.73）を顕著に上回った。
• 非対称DPPのAUCスコアは、アパレルデータセットで0.77 ± 0.03、3カテゴリーのデータセットで0.82 ± 0.02を記録したのに対し、対称DPPはそれぞれ0.68 ± 0.05および0.76 ± 0.03であった。これは、順位付け性能の向上を示している。
• 明確な分割成分を有するデータセットでは、MPRおよびAUCで10–15%の相対的改善が達成され、複雑な相関構造を回復する能力の優位性が確認された。
• 学習アルゴリズムは $O(M^3)$ の時間で実行され、従来の方法の $O(M^6)$ の複雑度と比較して顕著に高速化され、実世界のデータセットへの応用が可能になった。