[論文レビュー] Zonotope hit-and-run for efficient sampling from projection DPPs

Guillaume Gautier, Rémi Bardenet+1 more|arXiv (Cornell University)|May 30, 2017

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、ゾノトープとハイト・アンド・リーン・サンプリングを活用して、固定サンプルサイズをもつ射影DPP（DPP）からの効率的なサンプリングを実現する新しいMCMCサンプラーを提案する。離散的サンプリング問題を凸なゾノトープ上での連続的問題に変換することで、高い混合速度と高いサンプル効率を達成し、特にテキスト要約などのコストの高い関数を評価する状況で、サンプル間の相関が低減される点で顕著な利点を示す。

ABSTRACT

Determinantal point processes (DPPs) are distributions over sets of items that model diversity using kernels. Their applications in machine learning include summary extraction and recommendation systems. Yet, the cost of sampling from a DPP is prohibitive in large-scale applications, which has triggered an effort towards efficient approximate samplers. We build a novel MCMC sampler that combines ideas from combinatorial geometry, linear programming, and Monte Carlo methods to sample from DPPs with a fixed sample cardinality, also called projection DPPs. Our sampler leverages the ability of the hit-and-run MCMC kernel to efficiently move across convex bodies. Previous theoretical results yield a fast mixing time of our chain when targeting a distribution that is close to a projection DPP, but not a DPP in general. Our empirical results demonstrate that this extends to sampling projection DPPs, i.e., our sampler is more sample-efficient than previous approaches which in turn translates to faster convergence when dealing with costly-to-evaluate functions, such as summary extraction in our experiments.

研究の動機と目的

• 大規模な機械学習応用における射影DPPからの正確なサンプリングの高い計算コストを解消すること。
• 評価コストの高い関数を扱う際の収束速度を向上させるとともに、サンプル間の相関を低減するより効率的なMCMCサンプラーの開発。
• 射影DPPの特徴行列から導かれるゾノトープの幾何的構造を活用し、状態空間におけるグローバルな移動を可能にすること。
• 線形計画法を用いてゾノトープのタイリングをより効果的に探索できるように、既存の基底交換MCMCチェインを改善すること。

提案手法

• 離散的DPPサンプリングを、特徴行列の列の凸包であるゾノトープ上での連続的サンプリング問題に緩和する。このゾノトープはDPPの構造を自然に表現する。
• 現在の点を通るランダムな弦を求めるために線形計画法を解くことで、ゾノトープ上でのハイト・アンド・リーンMCMCカーネルを用いる。
• ゾノトープは、各DPP実現に対応するタイルに分割され、サンプラーはこれらのタイル上で一様分布を保証する。
• DyerとFrieze（1994）の組合せ幾何学的結果を活用し、ゾノトープがタイル上に平坦な分布をサポートすることを保証することで、効率的な探索を可能にする。
• 正確な射影DPP分布を標的とするために、ハイト・アンド・リーン・チェインの重み付き拡張を用い、線形計画法によってグローバルな混合を保証する移動をガイドする。
• 効率的なLPソルバー（例：CVXOPT経由のGLPK）を用いてサンプラーを実装し、収束を向上させるために適応的初期化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ゾノトープを用いて、離散的DPPサンプリングを、混合性に優れた幾何的連続的サンプリング問題に変換可能か？
• RQ2 ゾノトープ上でのハイト・アンド・リーンMCMCチェインは、既存の基底交換MCMCチェインと比較して、射影DPPの文脈でより速い混合速度と低いサンプル相関を達成できるか？
• RQ3 コストの高い関数を評価する状況において、提案手法の有効サンプルサイズと収束速度は、最先端手法と比較してどのように異なるか？
• RQ4 ゾノトープの幾何的構造を活用して、ローカルなランダムウォークを避けるより効率的なMCMCカーネルを設計可能か？

主な発見

• 提案されたMCMCサンプラーは、Anariら（2016）の基底交換チェインと比較して、著しく速い混合速度を達成し、同じ反復回数で約50％多くの固有の要約が探索された。
• テキスト要約の実験では、推定されたRouge-1Fスコアの分散が低く抑えられ、ベースラインと比較して50％以上多くの異なる要約が探索された。これは、混合性の向上を示している。
• 線形計画法のためのCPU時間の増加があるものの、サンプル効率の向上により、被積分関数（例：Rouge-1F）の評価コストが計算の主因となる状況では、収束が速くなる。
• 提案手法の性能は、さまざまなグラフ構造に対して安定しており、一方で基底交換チェインの性能はグラフトポロジーの変化により変動が大きかった。
• 理論的裏付けとして、凸体上でのハイト・アンド・リーンの多項式混合時間境界が既存のものに基づくが、実験結果から実際の収束がより速い傾向にあることが示唆された。