[論文レビュー] On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes

Alexander Matthews, James Hensman+2 more|arXiv (Cornell University)|Apr 27, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用数 4

ひとこと要約

この論文は、スパースな変分ガウス過程のための測度論的基礎を厳密に確立し、標準的な誘導点手法が明確に定義されたカルバック・ライバラー情報量の最小化に相当することを示している。従来の研究を一般化し、データに依存しない誘導点、共役でない尤度関数、Cox過程のような無限次元モデルを扱えるようにした一方で、周辺的一致性だけでは、追加の条件（例えば、関数全体に対する決定論的条件付き分布）が満たされない限り、有効な変分推論が保証されないことを証明した。

ABSTRACT

The variational framework for learning inducing variables (Titsias, 2009a) has had a large impact on the Gaussian process literature. The framework may be interpreted as minimizing a rigorously defined Kullback-Leibler divergence between the approximating and posterior processes. To our knowledge this connection has thus far gone unremarked in the literature. In this paper we give a substantial generalization of the literature on this topic. We give a new proof of the result for infinite index sets which allows inducing points that are not data points and likelihoods that depend on all function values. We then discuss augmented index sets and show that, contrary to previous works, marginal consistency of augmentation is not enough to guarantee consistency of variational inference with the original model. We then characterize an extra condition where such a guarantee is obtainable. Finally we show how our framework sheds light on interdomain sparse approximations and sparse approximations for Cox processes.

研究の動機と目的

• ガウス過程における変分誘導点フレームワークの理論的裏付けを明確化すること。これは広く使われているが、厳密な確率的基礎を欠いている。
• 文献におけるギャップを埋めるために、スパースな変分推論の文脈において、確率過程間のカルバック・ライバラー情報量を形式的に定義すること。
• モデル拡張における周辺的一致性が、近似のための補助変数を導入した場合に、有効な変分推論を保証するのに十分かどうかを検討すること。
• 共役でない尤度関数や、関数全体の値に依存するような無限次元モデル（例：Cox過程）にまでフレームワークを拡張すること。
• 誘導点の位置を変分パラメータとして最適化する根拠を、過学習を避ける観点から原理的かつ明確に導出すること。

提案手法

• 標準的なスパースな変分推論の目的関数を、関数値上の近似事後分布と真の事後分布の確率過程間の適切なカルバック・ライバラー情報量に再定式化する。
• ルベーグ測度に依存しない無限次元関数空間におけるKL情報量の定義に、ラドン＝ニコディム微分を用いる。
• 元のTitsias (2009) フレームワークを一般化し、データ点でない誘導点を許容するとともに、観測点だけでなく全関数値に依存する尤度関数を扱えるようにする。
• Fubiniの定理を適用して、特にCox過程の尤度関数に対して、KL情報量式における期待値と積分の交換を正当化する。
• 拡張されたモデルにおける変分推論が、元のモデルにおける推論と等価になる条件を導入する：誘導点が関数全体の決定論的関数である場合。
• 測度論的基礎を確立することで、間接ドメインのスパース近似やCox過程モデルが、このフレームワーク内で一貫して扱えることを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程における標準的なスパースな変分推論の目的関数は、関数値上の近似事後分布と真の事後分布の間の明確に定義されたカルバック・ライバラー情報量の最小化と等価であるか？
• RQ2 誘導点がデータ点でなく、尤度関数が観測されていない関数値に依存する場合、変分誘導点フレームワークは厳密に正当化可能か？
• RQ3 モデル拡張における周辺的一致性は、拡張されたモデルにおける変分推論が元のモデルにおける推論と等価であることを保証するか？
• RQ4 拡張されたモデルにおける変分推論を原理的かつ一貫的に保つために、どのような追加条件が必要か？
• RQ5 このフレームワークは、非共役尤度関数やCox過程のような点過程モデルにどのように拡張できるか？

主な発見

• 標準的なスパースな変分推論の目的関数は、関数値上の近似事後分布と真の事後分布の間のカルバック・ライバラー情報量の最小化と厳密に等価である。
• ラドン＝ニコディム微分と測度論的基礎を用いることで、データに依存しない誘導点や、全関数値に依存する尤度関数（例：Cox過程）を含む一般化が可能である。
• モデル拡張における周辺的一致性だけでは、有効な変分推論を保証できない。誘導点が関数全体の決定論的関数であるというより強い条件が必要である。
• 誘導点が関数全体の決定論的関数である場合、変分目的関数は原理的であり、誘導点パラメータは過学習から保護される。
• KL情報量が適切に定義され、下界の証拠が有効であることを保証するため、測度論的基礎を確立することで、間接ドメインのスパース近似やCox過程モデルが理論的に正しく扱える。
• 結果として、無限次元尤度関数を伴う複雑なモデルへのスパースな変分法の拡張に、しっかりとした理論的基盤が提供され、ヒルベルト空間理論を含む新たな研究方向性が示唆された。