[論文レビュー] On Sampling and Greedy MAP Inference of Constrained Determinantal Point Processes

Tarun Kathuria, Amit Deshpande|arXiv (Cornell University)|Jul 6, 2016

Complexity and Algorithms in Graphs参考文献 19被引用数 9

ひとこと要約

本稿は、マトロイド制約の特殊ケースである分割制約の下で、DPPからの正確なサンプリングのための最初の多項式時間アルゴリズムを提示している。一方で、一般のマトロイド制約の下では、#P困難性によりこのようなサンプリングが非効率であることを証明している。さらに、良好に条件付けられたカーネル上でのk-DPPのための、より良い近似保証を持つグリーディなMAP推論法を導入し、実験によりkが大きい場合に顕著な性能向上を示している。

ABSTRACT

Subset selection problems ask for a small, diverse yet representative subset of the given data. When pairwise similarities are captured by a kernel, the determinants of submatrices provide a measure of diversity or independence of items within a subset. Matroid theory gives another notion of independence, thus giving rise to optimization and sampling questions about Determinantal Point Processes (DPPs) under matroid constraints. Partition constraints, as a special case, arise naturally when incorporating additional labeling or clustering information, besides the kernel, in DPPs. Finding the maximum determinant submatrix under matroid constraints on its row/column indices has been previously studied. However, the corresponding question of sampling from DPPs under matroid constraints has been unresolved, beyond the simple cardinality constrained k-DPPs. We give the first polynomial time algorithm to sample exactly from DPPs under partition constraints, for any constant number of partitions. We complement this by a complexity theoretic barrier that rules out such a result under general matroid constraints. Our experiments indicate that partition-constrained DPPs offer more flexibility and more diversity than k-DPPs and their naive extensions, while being reasonably efficient in running time. We also show that a simple greedy initialization followed by local search gives improved approximation guarantees for the problem of MAP inference from k- DPPs on well-conditioned kernels. Our experiments show that this improvement is significant for larger values of k, supporting our theoretical result.

研究の動機と目的

• カーネルによって捉えきれない固有のラベルを持つデータが存在する状況で生じる、マトロイド制約、特に分割制約の下でのDPPからの正確なサンプリングのギャップを埋める。
• 定数個の分割をもつ分割DPPの多項式時間正確サンプリングアルゴリズムを提供する。
• 一般のマトロイド制約の下でのDPPからの正確なサンプリングが、#P困難であることを示す複雑性理論的境界を確立する。
• log-行列式の劣微分性を活用して、グリーディ初期化と局所探索を組み合わせた新しいグリーディなMAP推論法を導入し、良好に条件付けられたカーネル上でのk-DPPの近似保証を向上させる。
• 分割制約下での最大行列式部分行列の近似保証を、先行研究と同等のものに達成するための幾何的凹プログラミングを用いる。
• 合成および実世界のデータセット（画像およびテキスト要約タスクを含む）に対して、サンプリングおよび推論アルゴリズムを実装・評価する。

提案手法

• アイテムの事前定義された分割を尊重する制約付きDPPモデルとして、Partition-DPPsを提案する。これにより、ラベル付きグループ間でのバランスの取れた表現が保証される。
• 分割された部分集合上での行列式に基づく確率計算と再帰的分解を用いて、Partition-DPPsの多項式時間正確サンプリングアルゴリズムを設計する。
• 一般のマトロイド制約の下でのDPPからのサンプリングが#P困難であることを証明する。これは、二部グラフにおける完全マッチングの数え上げ問題への還元によって示される。
• log-行列式の劣微分性を活用し、グリーディ選択で初期化し、その後局所探索で改善する、k-DPPのためのグリーディなMAP推論法を導入する。
• 分割制約下での最大行列式部分行列の近似保証を、先行研究と同等のものに達成するため、幾何的凹プログラミングを用いる。
• 合成および実世界のデータセット（画像およびテキスト要約タスクを含む）に対して、サンプリングおよび推論アルゴリズムを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 分割制約（マトロイド制約の特殊ケース）の下で、DPPからの正確なサンプリングが多項式時間で達成可能か？
• RQ2 一般のマトロイド制約の下でのDPPからの正確なサンプリングは計算的に可能か、それとも非効率的か？
• RQ3 グリーディ初期化 followed by 局所探索が、良好に条件付けられたカーネル上でのk-DPPのMAP推論における近似比を向上させられるか？
• RQ4 Partition-DPPは、標準的なk-DPPや独立したk_i-DPPと比較して、サブセット選択における過剰/不十分な表現および重複の問題を回避できるか？
• RQ5 提案されたサンプリングおよび推論手法の実験的性能（実行時間と解の品質）はいかがなものか？

主な発見

• 提案されたアルゴリズムにより、任意の定数個の分割に対して、Partition-DPPからの正確なサンプリングが多項式時間で可能となり、制約付きDPPサンプリング分野における未解決問題が解決された。
• 複雑性の境界により、一般のマトロイド制約の下でのDPPからの正確なサンプリングが#P困難であることが示された。これは、二部グラフにおける完全マッチングの数え上げをシミュレートできることに起因する。
• 実験により、特に固有のカテゴリを持つ画像およびテキストデータにおいて、ナチュラルなk-DPPや独立k_i-DPPの拡張で見られる過剰/不十分な表現および重複の問題を、Partition-DPPが回避することが示された。
• グリーディ初期化と局所探索を組み合わせたMAP推論法は、標準的なグリーディアルゴリズムよりも良好な近似保証を達成しており、kが大きい場合に顕著な性能向上が得られた。これは合成および実世界のデータセットで検証された。
• 実行時間の実験により、3〜4つの分割を伴う約50件までのアイテムに対して、Partition-DPPのサンプリングが実行可能であることが示された。分割数が増えると実行時間は指数関数的に増加するが、中程度のサイズの問題に対しては実用的である。
• 合成および実世界のマッチド要約タスクにおいて、標準的なグリーディ法やソフトマックス最大化ベースラインを上回る性能を示した。特にkが20を越えると顕著な向上が見られた。