[論文レビュー] Faster Greedy MAP Inference for Determinantal Point Processes

In‐Su Han, Prabhanjan Kambadur+2 more|arXiv (Cornell University)|Mar 9, 2017

Data Management and Algorithms参考文献 32被引用数 3

ひとこと要約

本稿では、LDASを介した一次の対数行列式近似と確率的トレース推定を活用することで、大規模な決定的ポイントプロセス（DPP）におけるMAP推論の高速化を図るより速いグリーディアルゴリズムを提案する。線形方程式の解法を amortized し、バッチ選択を可能にすることで、時間計算量をO(d⁴)からO(d³)に削減し、ベースラインのグリーディ法と比較して最大19倍の高速化を達成しながら、精度の損失は最小限に抑えられる。

ABSTRACT

Determinantal point processes (DPPs) are popular probabilistic models that arise in many machine learning tasks, where distributions of diverse sets are characterized by matrix determinants. In this paper, we develop fast algorithms to find the most likely configuration (MAP) of large-scale DPPs, which is NP-hard in general. Due to the submodular nature of the MAP objective, greedy algorithms have been used with empirical success. Greedy implementations require computation of log-determinants, matrix inverses or solving linear systems at each iteration. We present faster implementations of the greedy algorithms by utilizing the complementary benefits of two log-determinant approximation schemes: (a) first-order expansions to the matrix log-determinant function and (b) high-order expansions to the scalar log function with stochastic trace estimators. In our experiments, our algorithms are orders of magnitude faster than their competitors, while sacrificing marginal accuracy.

研究の動機と目的

• 繰り返し対数行列式、行列逆行列、線形方程式系の計算が行われるため、計算コストが高いため、大規模DPPにおけるMAP推論のNP困難性に対処する。
• 共役勾配（CG）などの効率的な線形ソルバーを用いて、一次近似で高価な行列式計算を amortized することで、グリーディMAP推論を高速化する。
• 1回の反復で複数のアイテムを選択するバッチベースのグリーディアルゴリズムを開発し、高価な操作の回数を減らしながらも、競争力のある近似品質を維持する。
• 複数回の実行でランダムベクトルを共有することで、LDASによる高次の対数行列式近似の効率を向上させ、精度の損失が大きくない範囲で速度を向上させる。
• 合成および実世界のデータセット上で提案手法を実験的に検証し、従来のグリーディ法およびラジオベースの手法と比較して顕著な高速化を示す。

提案手法

• グリーディ選択におけるマージナルゲインを近似するために、行列対数行列式関数の一次展開を用い、1反復あたりのコストを低減する。
• 共役勾配（CG）ソルバーを用いてシュール補完更新を効率的に計算し、1回の線形方程式の解法で複数のマージナルゲイン計算を amortized する。
• 残りのアイテムをp ≥ 1個のクラスタに分割し、それぞれのクラスタ内で一次近似を適用することで、近似品質を向上させつつ計算効率を維持する。
• 1反復でk > 1個の要素を同時に選択するバッチグリーディ戦略を導入し、反復回数を減らすとともに、LDASを用いた高次のスカラー対数近似を活用する。
• 複数回のLDAS実行でランダムベクトルを共有することで、近似品質を向上させ、分散を低減し、改善の理論的根拠を提供する。
• CGに基づく線形方程式の解法と、LDASに基づく確率的トレース推定を組み合わせ、速度と精度のバランスを図り、p = O(1)の条件下でO(d³)の時間計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 一次対数行列式近似と効率的な線形ソルバーを組み合わせることで、グリーディDPP MAP推論の時間計算量をO(d⁴)からO(d³)に削減できるか？
• RQ2 LDASによる高次の対数行列式近似を用いたバッチ選択は、標準的グリーディ法やラジオ法と比較して、どのように効率性を向上させるか？
• RQ3 複数回のLDAS実行でランダムベクトルを共有することで、対数行列式推定の近似品質を向上させ、分散を低減できるか？
• RQ4 提案手法は、大規模DPPインスタンスにおいて顕著な高速化を達成しながら、近似品質をどの程度維持できるか？
• RQ5 実世界の要約タスクにおいて、提案手法はLazy、Softmax、Doubleといった既存のベースラインと比較して、実際にはどの程度優れているか？

主な発見

• d = 40,000の場合、アルゴリズム2はLazyグリーディベースラインと比較して最大19倍の高速化を達成し、近似比の損失はたった0.01にとどまる。
• 実世界のマッチド要約タスクにおいて、d = 4,000の場合、アルゴリズム2はLazyより8倍速く、平均対数確率比の損失はたった0.03にとどまる。
• 動画要約タスクでは、アルゴリズム1はLazy法と比較して13倍以上の高速化を達成し、Fスコアはほぼ同一またはベースラインを上回る。
• 提案手法は実際の運用においてほぼ最適に近い性能を維持しており、Softmaxは実世界データではLazyベースラインですら大幅に遅い。
• LDASを用いたバッチ戦略により、pk回のCG実行をp回のLDAS実行に置き換えることで、k > 1の場合に顕著な高速化が達成される。
• 理論的分析により、LDASにおける共有ランダムベクトルの有効性が裏付けられ、分散が低減し、近似品質が向上することが示された。