[論文レビュー] Learning Determinantal Point Processes in Sublinear Time

Christophe Dupuy, Francis R. Bach|arXiv (Cornell University)|Oct 19, 2016

Graph theory and applications被引用数 7

ひとこと要約

本稿では、マージナルカーネルの低ランク因子分解に基づく、新しい種類の行列式点過程（DPP）を提案する。この手法により、アイテム数に相対して部分線形時間で正確な推論とパラメータ学習が可能になる。この目的を達成するために、2次モーメント行列を閉形式で計算し、指数的かつ連続的ドメインのような非常に大きな集合（例えば、文書内のすべての可能な文）のDPPを効率的にモデル化できる。実際の文書要約応用において、2^500個のアイテムを持つDPPを用いて検証されている。

ABSTRACT

We propose a new class of determinantal point processes (DPPs) which can be manipulated for inference and parameter learning in potentially sublinear time in the number of items. This class, based on a specific low-rank factorization of the marginal kernel, is particularly suited to a subclass of continuous DPPs and DPPs defined on exponentially many items. We apply this new class to modelling text documents as sampling a DPP of sentences, and propose a conditional maximum likelihood formulation to model topic proportions, which is made possible with no approximation for our class of DPPs. We present an application to document summarization with a DPP on $2^{500}$ items.

研究の動機と目的

• 行列式点過程（DPP）のスケーラビリティのボトルネックを、アイテム数が非常に多いまたは無限大の集合において解消すること。標準的手法はNに比例して立方時間または線形時間でスケーリングする。
• アイテム数Nに相対して部分線形時間で正確な推論とパラメータ学習を実現すること。特に、指数的または連続的集合に対して有効である。
• 文書要約におけるトピック割合のモデリングを可能にする、条件付き最尤推定をサポートする新しいDPPクラスの開発。
• 実世界のタスク、例えば2^500個の可能な文から多様な文のサブセットをサンプリングして文書要約を行うことへの実用的応用の提示。

提案手法

• マージナルカーネルKの特定の低ランク因子分解に基づく新しいDPPクラスを提案。K = UU^\top とし、U \in \mathbb{R}^{V \times r} とすることで、有効次元を低減する。
• 2次モーメント行列 \mathbb{E}[U U^\top] を閉形式で計算することで、\mathcal{O}(N)の計算を回避し、部分線形時間での推論と学習を可能にする。
• トピック割合のモデリングに条件付き最尤推定を適用し、L-表現と低ランク構造を用いて尤度を正確に計算する。
• パラメータθにスパarsity誘導正則化項\mathcal{R}を導入した罰則付き最適化フレームワークを採用することで、近似を用いずにパラメータ回復性能を向上させる。
• 推定された埋め込みと真の埋め込みの部分空間整合性を評価するための距離尺度 D(U, U^*) = \|U(U^\top U)^{-1}U^\top U^* - U^*\|_F / \|U^*\|_F を用いる。この尺度は回転およびスケーリングに対して不変である。
• DPPにカーネルトリックの原則を適応させ、高次元の埋め込みを低ランク表現によって効率的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 アイテム数Nに相対して部分線形時間でDPPの学習と推論が可能であり、かつ正確な尤度計算が維持できるか？
• RQ2 マージナルカーネルの低ランク因子分解は、{0,1}^Vのような指数的集合への効率的学習をどのように可能にするか？
• RQ3 提案されたDPPクラスは、文書要約におけるトピック割合のモデリングに条件付き最尤推定をサポートできるか？
• RQ4 罰則付き最適化戦略は、高次元的かつ低ランクのDPPにおいて、パラメータ回復性能をどの程度向上させるか？
• RQ5 連続的ドメイン、例えば[0,1]^m（Nが無限大）において、この手法はどの程度スケーリングできるか？

主な発見

• 本手法は、ランクrの多項式時間で正確な尤度計算と推論を達成し、Nに相対して部分線形時間での学習を実現する。これは、非常に大きなまたは無限大のアイテム集合において有効である。
• 連続的集合[0,1]^2において、本手法は真の対数尤度に収束し、ベースラインの対角DPP（L = \eta^* I）を著しく上回る。
• 離散的集合{1,\ldots,V}において、r^* = 5の場合、真の埋め込みU^*はr \geq 30のときのみ回復可能である。これは、パラメータ回復に十分なランクが必要であることを示している。
• 指数的集合{0,1}^V（V=10、r^*=2）において、真のU^*はr \geq 6のとき回復可能であり、高次元の組み合わせ的空間に対してもロバストであることが確認された。
• Picard反復（MarietとSra, 2015）とは対照的に、{1,\ldots,V}集合において本手法は対数尤度で優れた性能を示した。これは、後者も全行列上で動作しているにもかかわらずである。
• 実際の文書要約タスクでは、本モデルはユーザーの意見（例：食事、サービス）を伝えられる文を抽出するが、ベースライン手法はしばしば文脈的な記述のみを抽出する。