[論文レビュー] Learning Signed Determinantal Point Processes through the Principal Minor Assignment Problem

Victor-Emmanuel Brunel|arXiv (Cornell University)|Nov 1, 2018

Random Matrices and Applications被引用数 9

ひとこと要約

本稿では、非対称カーネルを用いることで引力的および斥力的相互作用を許容する対称DPPの一般化として、符号付き決定的ポイント過程（符号付きDPP）を導入する。この研究では、符号付き非対角要素をもつ行列のクラスにおける主小行列の割り当て問題を解き、GF₂上でのガウス消去法を用いた符号割り当てにより、カーネルの多項式時間学習を可能にする。これにより、主小行列データからの符号付きDPPの推定に実行可能な手法が提供される。

ABSTRACT

Symmetric determinantal point processes (DPP's) are a class of probabilistic models that encode the random selection of items that exhibit a repulsive behavior. They have attracted a lot of attention in machine learning, when returning diverse sets of items is sought for. Sampling and learning these symmetric DPP's is pretty well understood. In this work, we consider a new class of DPP's, which we call signed DPP's, where we break the symmetry and allow attractive behaviors. We set the ground for learning signed DPP's through a method of moments, by solving the so called principal assignment problem for a class of matrices $K$ that satisfy $K_{i,j}=\pm K_{j,i}$, $i eq j$, in polynomial time.

研究の動機と目的

• 非対称かつ符号付きカーネルを導入することで、対称DPPを引力的相互作用を許容するように拡張すること。
• パrametricな仮定を課さずに、観測された主小行列からこのようなカーネルを学習する課題に対処すること。
• K_{i,j} = \pm K_{j,i} を満たす±対称非対角要素をもつ行列クラスにおける主小行列の割り当て問題（PMA）を解くこと。
• 正確な主小行列データからカーネル行列を回復する多項式時間アルゴリズムを提供すること。
• 符号付きDPPのカーネルの同定可能性条件を確立すること。

提案手法

• K_{i,j} = \pm K_{j,i} (i \neq j) を満たす行列として符号付きカーネルを定義し、対称DPPを一般化する。
• 符号付きカーネルにおける主小行列の割り当て問題（PMA）を定式化し、非対角要素の符号の回復に焦点を当てる。
• 3-および4-サイクルからのサイクルベースの符号制約を用いて、\text{GF}_2 上での符号一貫性条件を導出する。
• 正のサイクルから得られる符号方程式系を、\text{GF}_2 上でのガウス消去法を用いて解く。
• 対角要素をa_{\{i\}}に、大きさを|a_{\{i\}}a_{\{j\}} - a_{\{i,j\}}|に設定し、符号は符号割り当てアルゴリズムで決定することで、カーネル行列Hを構築する。
• アルゴリズムが多項式時間で実行可能であり、O(N^4)個の式とO(N^2)個の変数で抑えられることを証明する。

実験結果

リサーチクエスチョン

• RQ1 主小行列データから、引力的および斥力的相互作用を有する符号付きDPPを一貫して学習できるか？
• RQ2 符号付きDPPのカーネルはその主小行列から同定可能か？
• RQ3 K_{i,j} = \pm K_{j,i} を満たす符号付き行列に対して、主小行列の割り当て問題を効率的に解けるか？
• RQ4 正確な主小行列観測からカーネル行列を回復する際の計算量の複雑さは何か？
• RQ5 有効なカーネル再構築を保証するために、サイクル全体にわたる符号の一貫性をどのように確保できるか？

主な発見

• 隣接グラフが回復可能で、要素が0から離れている限り、符号付きDPPのカーネルはその主小行列から同定可能である。
• 符号付きカーネルの主小行列の割り当て問題を解く多項式時間アルゴリズムが存在し、計算量はO(N^4)で抑えられる。
• アルゴリズムは、まず主小行列から対角および大きさの要素を設定し、次にGF₂上でのサイクルベースの制約を用いて符号を解くことでカーネルを回復する。
• 符号割り当てがすべての3-および4-サイクルで一貫している限り、解はすべての主小行列制約を満たすことが保証される。
• この手法は、凸最適化を必要とせず、反復的手法による統計的保証も不要な、非パrametricかつモーメント法に基づく符号付きDPPの学習手法を提供する。
• このフレームワークにより、対称DPPの学習が、アイテム選択における吸引と反発の両方を捉えるより広範なモデルクラスへと拡張される。