[論文レビュー] Markov Determinantal Point Processes

Raja Hafiz Affandi, Alex Kulesza+1 more|arXiv (Cornell University)|Oct 16, 2012

Random Matrices and Applications参考文献 11被引用数 27

ひとこと要約

この論文は、時間経過とともに多様な部分集合の系列をモデル化する新しい確率過程、マルコフ行列確率点過程（M-DPP）を導入する。DPPの周辺分布を用いた個々の時刻における多様性と、連続する集合の和集合が周辺的にDPP分布に従うことで時間的多様性を保証することにより、M-DPPは逐次的ニュース推薦タスクにおいてベースライン手法を上回る性能を発揮する、正確で効率的なサンプリングと段階的学習を可能にする。

ABSTRACT

A determinantal point process (DPP) is a random process useful for modeling the combinatorial problem of subset selection. In particular, DPPs encourage a random subset Y to contain a diverse set of items selected from a base set Y. For example, we might use a DPP to display a set of news headlines that are relevant to a user's interests while covering a variety of topics. Suppose, however, that we are asked to sequentially select multiple diverse sets of items, for example, displaying new headlines day-by-day. We might want these sets to be diverse not just individually but also through time, offering headlines today that are unlike the ones shown yesterday. In this paper, we construct a Markov DPP (M-DPP) that models a sequence of random sets {Yt}. The proposed M-DPP defines a stationary process that maintains DPP margins. Crucially, the induced union process Zt = Yt u Yt-1 is also marginally DPP-distributed. Jointly, these properties imply that the sequence of random sets are encouraged to be diverse both at a given time step as well as across time steps. We describe an exact, efficient sampling procedure, and a method for incrementally learning a quality measure over items in the base set Y based on external preferences. We apply the M-DPP to the task of sequentially displaying diverse and relevant news articles to a user with topic preferences.

研究の動機と目的

• 時間の経過に伴う多様な部分集合の系列をモデル化し、各部分集合内だけでなく、連続する時刻間でも多様性を保証すること。
• DPPが持つ望ましい多様性の性質を維持しつつ、時間的依存性を導入する確率過程を開発すること。
• 実用的な逐次推薦システムへの導入を可能にする、M-DPPからの正確で効率的なサンプリングを可能にすること。
• ユーザーの好みに基づくアイテムの重要度スコアの段階的学習を可能にし、時間経過とともに関連性を向上させること。

提案手法

• M-DPPは、DPP構造を保持するカーネルを用いて定義される部分集合上の定常マルコフ過程として構築される。
• このプロセスにより、各個々の集合 Yt がDPP分布に従うことが保証され、各時刻での多様性が維持される。
• 連続する集合の和集合 Zt = Yt ∪ Yt−1 が周辺的にDPP分布に従うことで、時間的多様性が強制される。
• カーネル行列の固有値分解と固有値上での受理採用サンプリングを用いて、正確で効率的なサンプリングアルゴリズムが導出される。
• ユーザーのフィードバックに基づき、カーネルを更新することで、アイテムの重要度スコアの段階的学習手法が導入される。
• モデルは、トピックの好みを含む逐次的ニュース記事推薦タスクで訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 DPP分布に従う部分集合を時間経過に伴って維持しつつ、時刻間の多様性を保証できるマルコフ過程を設計できるか？
• RQ2 系列における連続する部分集合の和集合が周辺的にDPP分布に従うようにすることは、どのように実現できるか？ これにより時間的多様性が強制される。
• RQ3 近似を用いず、M-DPPからの正確な生成を可能にする効率的なサンプリング手順は何か？
• RQ4 M-DPPフレームワーク内でのユーザーのフィードバックから、アイテムの重要度スコアをどのように段階的に学習できるか？
• RQ5 M-DPPは、標準DPPや他のベースライン手法に比べ、逐次的で多様な部分集合選択タスクにおいて優れているか？

主な発見

• M-DPPは、個々の集合 Yt とその和集合 Zt = Yt ∪ Yt−1 がともに周辺的にDPP分布に従うことを保証し、時刻内および時刻間の多様性が保証される。
• 正確で効率的なサンプリング手順が開発され、M-DPPの実世界応用への実用的導入が可能になった。
• 外部の好みに基づくアイテムの質のスコアの段階的学習をサポートし、時間経過とともに推薦の関連性が向上する。
• ニュース推薦タスクにおける実験的評価により、M-DPPはベースライン手法よりも多様性および関連性の指標で優れた性能を示した。
• 特に長期的な多様性を維持する点で、標準DPPに比べてユーザーの好みとの整合性が顕著に向上した。