[論文レビュー] Fast Mixing for Discrete Point Processes

Patrick Rebeschini, Amin Karbasi|arXiv (Cornell University)|Jun 6, 2015

Markov Chains and Monte Carlo Methods参考文献 11被引用数 12

ひとこと要約

本稿は、ドゥブリーシンの一意性条件の下で集合関数のヘッセ行列を分析することにより、離散的点過程におけるマルコフ連鎖モンテカルロ（MCMC）手法の高速混合を実現するための新規基準を提案する。ヘッセ行列が有界で、逆温度 $\beta$ が十分に小さいとき、MCMCアルゴリズムはシステムサイズ $n$ に依存しない誤差境界を達成することが示され、ヘッセ行列の固有値ノルムと $\beta$ を含む明示的な条件が提示される。結果は、行列式点過程や施設配置モデルを含む、部分集合関数への特殊化がなされている。

ABSTRACT

We investigate the systematic mechanism for designing fast mixing Markov chain Monte Carlo algorithms to sample from discrete point processes under the Dobrushin uniqueness condition for Gibbs measures. Discrete point processes are defined as probability distributions $μ(S)\propto \exp(βf(S))$ over all subsets $S\in 2^V$ of a finite set $V$ through a bounded set function $f:2^V ightarrow \mathbb{R}$ and a parameter $β>0$. A subclass of discrete point processes characterized by submodular functions (which include log-submodular distributions, submodular point processes, and determinantal point processes) has recently gained a lot of interest in machine learning and shown to be effective for modeling diversity and coverage. We show that if the set function (not necessarily submodular) displays a natural notion of decay of correlation, then, for $β$ small enough, it is possible to design fast mixing Markov chain Monte Carlo methods that yield error bounds on marginal approximations that do not depend on the size of the set $V$. The sufficient conditions that we derive involve a control on the (discrete) Hessian of set functions, a quantity that has not been previously considered in the literature. We specialize our results for submodular functions, and we discuss canonical examples where the Hessian can be easily controlled.

研究の動機と目的

• 分割関数を計算するのが困難な離散的点過程に対して、高速混合MCMCアルゴリズムを設計する課題に取り組む。
• システムサイズ $n$ が増加するにつれて、従来の変分法による周辺近似誤差が指数的劣化する問題を克服する。
• MCMCおよび確率的推論分野でこれまで未踏であった、集合関数 $f$ の離散的ヘッセ行列に依存する、一般化された高速混合のための条件を確立する。
• 行列式関数および対数部分集合関数分布に適用可能なフレームワークを提供する。これには、行列式点過程や施設配置モデルが含まれる。
• 地面集合 $V$ のサイズ $n = |V|$ に依存しない周辺近似の誤差境界を導出する。

提案手法

• 離散的点過程を $\mu(S) \propto \exp(\beta f(S))$ ($S \subseteq V$) として定義し、$f: 2^V \to \mathbb{R}$ は有界で $\beta > 0$ とする。
• 離散的ヘッセ行列 $\Delta_i\Delta_j f(S)$ を $f$ の2階差分として定義し、$M_{ij} = \max_{S \not\ni i,j} |\Delta_j\Delta_i f(S)|$ と定義する。
• ギブスサンプラーの高速混合の十分条件を確立する：$\alpha(\beta)\beta\|M\|_\infty < \gamma < 1$、ここで $\alpha(\beta) = \max_i \max_S e^{-\beta \Delta_i f(S)}$ かつ $\|M\|_\infty = \max_i \sum_j M_{ij}$ である。
• 部分集合関数に対してこの条件を特殊化し、$\Delta_i\Delta_j f(S) \leq 0$ であるため、ヘッセ行列に基づく基準が簡略化される。
• 代表的な例（施設配置、カット関数、対数行列式関数（DPP用）、分解可能関数）に一般基準を適用し、ヘッセ行列の制御が実行可能であることを示す。
• ドゥブリーシンの一意性条件を用いて、ギブスサンプラーの幾何的エルゴドニシティおよび高速混合を保証する。

実験結果

リサーチクエスチョン

• RQ1 システムサイズ $n$ に依存しない、離散的点過程におけるMCMCの高速混合のための一般基準を導出可能か？
• RQ2 集合関数 $f$ の離散的ヘッセ行列は、混合時間の決定にどのような役割を果たし、制御パラメータとして使用可能か？
• RQ3 部分集合関数および対数部分集合関数分布において、ヘッセ行列に基づく条件が周辺近似の明示的かつサイズに依存しない誤差境界をもたらすか？
• RQ4 行列式点過程や施設配置などの代表的モデルにおいて、ヘッセ行列の条件を効率的に計算または評価可能か？
• RQ5 部分集合性そのものが高速混合を保証するのに十分か、それともヘッセ行列にさらなる制約が必要か？

主な発見

• 本稿は、離散的点過程におけるギブスサンプラーの高速混合の十分条件を確立した：$\alpha(\beta)\beta\|M\|_\infty < \gamma < 1$、ここで $\|M\|_\infty$ はヘッセ行列 $M$ の最大行和である。
• 部分集合関数では、条件が簡略化され、依然として有効であることが示された。部分集合性そのものが高速混合を保証するわけではないが、ヘッセ行列の制御が必須であることが明らかになった。
• MCMC手法による周辺近似の誤差境界は、地面集合 $V$ のサイズ $n = |V|$ に依存しない。これは、$n$ が増加するにつれて性能が著しく劣化する従来の変分法と比べて顕著な改善である。
• 行列式点過程（$f(S) = \log \det(L_S)$）では、行列式の恒等式を用いてヘッセ行列 $\Delta_i\Delta_j f(S)$ を評価可能であり、混合条件の明示的検証が可能である。
• 施設配置やカット関数では、ヘッセ行列の項が $n$ に依存しない定数で有界であるため、組合せ的爆発を伴わずに混合条件を検証可能である。
• 本フレームワークは、対数部分集合関数および部分集合関数の両方の点過程に適用可能であり、この文脈でMCMC混合に直接関連づけられた初めてのヘッセ行列に基づく基準である。