[論文レビュー] Learning Determinantal Point Processes

Alex Kulesza, Ben Taskar|Scholarly Commons (University of Pennsylvania)|Feb 14, 2012

Stochastic processes and statistical mechanics参考文献 16被引用数 108

ひとこと要約

本稿では、ラベル付きデータからのエンド・ツー・エンド学習を可能にする凸最適化を可能にする、特徴に基づく条件付きデターミナント・ポイント過程（DPP）のパrameterizationを提案する。多様で重複のない部分集合選択を扱いやすい判別的枠組みでモデル化することで、DUC 2003/04ベンチマークにおける抽出的複数文書要約において、関連性と多様性の両方を効果的にバランスさせた最先端の性能を達成する。

ABSTRACT

Determinantal point processes (DPPs), which arise in random matrix theory and quantum physics, are natural models for subset selection problems where diversity is preferred. Among many remarkable properties, DPPs offer tractable algorithms for exact inference, including computing marginal probabilities and sampling; however, an important open question has been how to learn a DPP from labeled training data. In this paper we propose a natural feature-based parameterization of conditional DPPs, and show how it leads to a convex and efficient learning formulation. We analyze the relationship between our model and binary Markov random fields with repulsive potentials, which are qualitatively similar but computationally intractable. Finally, we apply our approach to the task of extractive summarization, where the goal is to choose a small subset of sentences conveying the most important information from a set of documents. In this task there is a fundamental tradeoff between sentences that are highly relevant to the collection as a whole, and sentences that are diverse and not repetitive. Our parameterization allows us to naturally balance these two characteristics. We evaluate our system on data from the DUC 2003/04 multi-document summarization task, achieving state-of-the-art results.

研究の動機と目的

• ラベル付き学習データからのDPPの学習という未解決問題に取り組む。
• 条件付きDPPのための効率的で凸な最適化を可能にする特徴に基づくパrameterizationを開発する。
• 統一された確率的枠組みで関連性と多様性の両方をモデル化することで、抽出的要約における関連性と多様性のバランスを図る。
• 提案手法の有効性を現実世界の複数文書要約タスクにおいて示す。

提案手法

• 著者らは、入力構成をカーネル行列に写像する特徴関数を用いた条件付きDPPのパrameterizationを導入し、判別的学習を可能にする。
• 学習目的関数をカーネルパrameterに関する凸最適化問題として定式化することで、グローバル収束を保証する。
• DPP尤度を対数行列式関数でモデル化し、効率的な勾配ベース最適化に適した、取り扱いやすく微分可能な形にする。
• 文の選択を多様な部分集合選択問題としてモデル化することで、抽出的要約にフレームワークを適用する。
• 統合的特徴表現を通じて、文書コレクションに対する高い関連性と、選択された文の間の低重複性を同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 判別的で特徴に基づくDPPのパrameterizationは、ラベル付きデータからの凸学習を可能にする形に定式化可能だろうか？
• RQ2 本稿で提案するDPPモデルは、斥力的ポテンシャルを備えた二値マルコフ確率場（MRF）と比較して、計算の扱いやすさと性能の両面で優れているだろうか？
• RQ3 DPPフレームワークは、抽出的要約タスクにおいて関連性と多様性の両方をどの程度うまくバランスできるだろうか？
• RQ4 提案された学習手法は、標準的な複数文書要約ベンチマークで最先端の結果を達成するだろうか？

主な発見

• 提案された特徴に基づくDPPパrameterizationにより、凸最適化が可能となり、エンド・ツー・エンド学習が実現可能かつ効率的になる。
• 本手法は、DUC 2003/04複数文書要約タスクで、先行手法を上回る最先端の性能を達成する。
• モデルは文の関連性と多様性を効果的にバランスさせ、冗長性を低減しながら高い情報カバレッジを維持する。
• 他の扱いにくい代替手法（例：斥力的MRF）とは異なり、本フレームワークは計算的に取り扱いやすく、周辺確率とサンプリングに対して正確な推論を提供する。