[論文レビュー] Scalable Learning and MAP Inference for Nonsymmetric Determinantal Point Processes

Mike Gartrell, In‐Su Han+3 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 40被引用数 5

ひとこと要約

本稿は、非対称デターミナント・ポイント・プロセス（NDPP）のための新しいカーネル分解を提案し、アイテム数 M に対して学習および推論の複雑さを二次から一次に低減する。この手法により、スケーラブルな学習と効率的な最大後確信度（MAP）推論が可能となり、従来の手法と同等の性能を達成しながら、大規模データセットでは桁違いに高速である。

ABSTRACT

Determinantal point processes (DPPs) have attracted significant attention in machine learning for their ability to model subsets drawn from a large item collection. Recent work shows that nonsymmetric DPP (NDPP) kernels have significant advantages over symmetric kernels in terms of modeling power and predictive performance. However, for an item collection of size $M$, existing NDPP learning and inference algorithms require memory quadratic in $M$ and runtime cubic (for learning) or quadratic (for inference) in $M$, making them impractical for many typical subset selection tasks. In this work, we develop a learning algorithm with space and time requirements linear in $M$ by introducing a new NDPP kernel decomposition. We also derive a linear-complexity NDPP maximum a posteriori (MAP) inference algorithm that applies not only to our new kernel but also to that of prior work. Through evaluation on real-world datasets, we show that our algorithms scale significantly better, and can match the predictive performance of prior work.

研究の動機と目的

• アイテム数 M に比例して二次または三次に増加する既存の NDPP 学習および推論手法の高い計算コストとメモリ使用量を低減すること。
• モデル化能力を維持しつつ、線形時間および線形空間のアルゴリズムを可能にする新しいカーネル分解を開発すること。
• 非対称DPPに対して初めて効率的なMAP推論アルゴリズムを設計し、提案された手法および従来のカーネル分解に適用可能であること。
• 実験的に、新しい手法が従来の予測性能を維持しながら、大規模な実世界データセットにおいて著しく優れたスケーラビリティを示すことを検証すること。

提案手法

• 全 M×M カーネル行列の明示的計算を回避することで、低ランク因子分解を用いた新しい NDPP カーネル分解を提案し、線形時間での学習および推論を可能にする。
• 行列式の代数的性質と低ランク更新を活用し、学習および推論中に対数行列式を効率的に計算する。
• 低ランク NDPP に対する貪欲な MAP 推論アルゴリズムを設計し、線形時間で実行する。これは、対称 DPP の貪欲なアプローチを非対称な場合に拡張したものである。
• DPP 条件付き確率とカーネルパラメータ化技術を適用し、スケーラブルなサブセット拡張とパラメータ推定を可能にする。
• 性能比較のため、ステochastic approximation および MCMC サンプリングを MAP 推論評価のベースラインとして採用する。
• 複数回のランダム初期化と試行を用いて、Amazon、UK Retail、Instacart などの実世界データセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 非対称 DPP のための新しいカーネル分解は、モデル化能力を保持しつつ、M に比例する線形時間での学習および推論を達成できるか？
• RQ2 非対称 DPP に対して、M に比例する線形時間で実行可能な効率的な MAP 推論アルゴリズムを設計できるか？
• RQ3 新しい分解は、実世界のサブセット選択タスクにおいて、従来の NDPP カーネル手法と比較して予測性能が同等か？
• RQ4 さまざまな MAP 推論アルゴリズムにおいて、推論速度と解の品質のトレードオフはどのようになるか？
• RQ5 提案手法は、M ≈ 1M のような大規模データセットにスケーラブルに拡張可能か？（従来の手法がメモリおよび実行時間の制約で非現実的になる領域）

主な発見

• 提案されたカーネル分解により、M に比例する時間的・記憶的複雑さでの学習および推論が可能となり、M=1M の場合に 8 TB から現実的なスケールにまで記憶容量が削減された。
• 新しい学習アルゴリズムは、Amazon、UK Retail、Instacart などの実世界データセットにおいて、従来の手法と同等の予測性能を達成した。
• 提案された貪欲な MAP 推論アルゴリズムは、局所探索に基づく貪欲法と比較して、相対的な対数行列式誤差が最大 0.045 までに抑えられ、100 倍の高速化を達成した。
• Stochastic greedy および MCMC サンプリング手法は、誤差が最大 1.93 まで上昇し、非効率であったため、提案された貪欲法の優位性が確認された。
• ウォールクロック時刻の測定では、Million Song データセットにおいて、提案された貪欲アルゴリズムは局所探索法に比べて最大 300 倍高速であり、解の品質の損失は最小限に抑えられた。
• 本手法は、M ≈ 1M のような大規模データセットにまでスケーラブルに拡張可能であり、従来の NDPP 手法がメモリおよび実行時間の制約で非現実的になる領域でも有効である。