[論文レビュー] Bayesian Structured Prediction Using Gaussian Processes

Sébastien Bratières, Novi Quadrianto+1 more|arXiv (Cornell University)|Jul 15, 2013

Gaussian Processes and Bayesian Inference参考文献 18被引用数 8

ひとこと要約

この論文では、ガウス過程と条件付きランダムフィールドを組み合わせることで、カーネル化、非パrametric、確率的推論を可能にするベイジアン構造予測モデルGPstructを紹介する。マルコフ連鎖モンテカルロ法を用いた事後分布推論により、GPstructは系列ラベル付けおよび動画ジェスチャー分類のタスクで最先端の性能を達成し、CRF や SVMstruct よりも主要ベンチマークで優れている。また、交差検証を伴わずに不確実性を考慮した予測と自動的なモデル選択を可能にしている。

ABSTRACT

We introduce a conceptually novel structured prediction model, GPstruct, which is kernelized, non-parametric and Bayesian, by design. We motivate the model with respect to existing approaches, among others, conditional random fields (CRFs), maximum margin Markov networks (M3N), and structured support vector machines (SVMstruct), which embody only a subset of its properties. We present an inference procedure based on Markov Chain Monte Carlo. The framework can be instantiated for a wide range of structured objects such as linear chains, trees, grids, and other general graphs. As a proof of concept, the model is benchmarked on several natural language processing tasks and a video gesture segmentation task involving a linear chain structure. We show prediction accuracies for GPstruct which are comparable to or exceeding those of CRFs and SVMstruct.

研究の動機と目的

• カーネル法、ベイジアン推論、確率的モデリングの長所を統合した構造予測モデルの開発。
• CRF や SVMstruct、M3N などの既存モデルの限界を克服し、カーネル化された特徴空間とモデルパラメータの完全な事後分布推論を組み合わせること。
• 完全なベイジアンフレームワークにより、交差検証を伴わず不確実性の定量化と自動的なモデル選択を可能にすること。
• 鎖、木構造、グリッドなど多様な出力構造に適用可能な汎用的で非パラメトリックな構造予測アプローチの提供。
• 実世界のNLPおよび動画ジェスチャー分類タスクにおいて、CRF や SVMstruct よりも優れた実証的性能の提示。

提案手法

• GPstruct は、入力と出力の関係を媒介する潜在変数（LVs）を用いて構造的出力をモデル化し、LVs を条件とするクライク単位のラベルの条件付き分布を定義する。
• 潜在変数に対してガウス過程の事前分布を採用することで、おそらく無限次元の空間における非パラメトリックでカーネル化された特徴学習を可能にする。
• マルコフ連鎖モンテカルロ（MCMC）推論手順を用いて、潜在変数とハイパーパramータの結合事後分布からのサンプリングを実施し、完全なベイジアン不確実性定量化を実現する。
• 予測分布は、潜在変数の事後分布サンプルの周辺化によって計算され、計算コストを削減するためのオプションとしてスプライシングとMAP近似が導入される。
• ハイパーパramータ（例：カーネルの長さスケール）にはガンマ事前分布を割り当て、MCMCにより同時に推論することで、交差検証を回避する。
• さまざまなカーネル関数（例：平方指数、線形）をサポートし、実験では線形チェーン構造にインスタンス化されている。

実験結果

リサーチクエスチョン

• RQ1 SVMstruct のカーネル化特徴学習とベイジアンCRF の完全なベイジアン事後分布推論を統合した構造予測モデルは可能か？
• RQ2 ガウス過程に基づく構造予測モデルは、CRF や SVMstruct のような判別モデルよりも一般化性能と不確実性定量化において優れているか？
• RQ3 GP-構造モデルにおけるMCMCベースの推論は、モデル選択のための交差検証を回避できるか？
• RQ4 GPstruct の予測性能は、多様な構造予測タスクにおいてCRF や SVMstruct と比較してどのように異なるか？
• RQ5 GPstruct において、潜在変数のサンプリング頻度と予測精度の間の計算的トレードオフは何か？

主な発見

• 20回の動画ジェスチャー分類セッションの平均では、平方指数カーネルを用いたGPstructは50.42%の誤差率を達成し、CRF（52.12%）を1.5ポイント以上上回った。
• テキスト処理タスクにおいて、GPstruct はCRF や SVMstruct と同等またはそれ以上の性能を示し、逐次データにおける優れた一般化性能を実証した。
• MCMCの繰り返し回数が約100,000回に達するまで予測性能が安定したため、収束のためには長いサンプリングチェーンが必要であることが示された。
• 予測用潜在変数（f*）のサンプリングを1,000回に1回にスプライシングしても誤差率にほとんど影響がなかったため、高頻度のサンプリングは不要であることが示された。
• f* のMAP推定値を全サンプリングに代えて用いた場合、同等の結果が得られたため、予測事後分布が鋭くピークを持っており、そのモードによってよく近似可能であることが示された。
• 低尤度のシミュレーションによる悪い提案の拒否により、不適切な条件のカーネル行列に対してもモデルは頑健で、数値的安定性が保たれた。