[論文レビュー] Herding Dynamic Weights for Partially Observed Random Field Models

Max Welling|arXiv (Cornell University)|May 9, 2012

Gaussian Processes and Bayesian Inference参考文献 15被引用数 24

ひとこと要約

本稿では、コストの高い指数計算を回避するために、部分的に観測されたランダムフィールドモデルにおける動的パラメータを学習する決定的でハーディングに基づくアルゴリズムを提案する。パラメータを動的変数として扱うことで、その平均がデータ駆動の期待値に収束する軌道を生成し、サンプリングや最適化ループを必要としない効率的な推論を可能にする。

ABSTRACT

Learning the parameters of a (potentially partially observable) random field model is intractable in general. Instead of focussing on a single optimal parameter value we propose to treat parameters as dynamical quantities. We introduce an algorithm to generate complex dynamics for parameters and (both visible and hidden) state vectors. We show that under certain conditions averages computed over trajectories of the proposed dynamical system converge to averages computed over the data. Our "herding dynamics" does not require expensive operations such as exponentiation and is fully deterministic.

研究の動機と目的

• 部分的に観測されたランダムフィールドモデルにおけるパラメータ学習の非可解性に対処すること。
• 従来の最適化を、時間とともにパラメータと状態が進化する力学系に置き換えること。
• 軌道上の時間平均がデータ上の経験的平均に収束することを保証すること。
• 指数計算などの高コストな演算を回避しつつ、収束保証を維持すること。
• 確率的またはサンプリングに基づく推論手法の完全な決定的代替手法を提供すること。

提案手法

• 本手法は、パラメータと隠れ状態がデータ制約に基づいて決定的に進化するハーディングダイナミクスフレームワークを導入する。
• 軌道平均とデータ統計の間でモーメントマッチングを強制する再帰的更新ルールを用いる。
• 最大エントロピー原理の双対形式から導かれるダイナミクスであり、指数分布族の計算を回避する。
• 収束を保証するため、周期的かつ決定的な方法で更新される重みの集合を維持する。
• 可視変数と隠れ変数の両方を扱えるように設計されており、部分的に観測されたモデルにおける推論を可能にする。
• 弱い条件下でも収束が保証されており、理論的分析により、時間平均されたパラメータがデータ平均の十分統計量に一致することが示されている。

実験結果

リサーチクエスチョン

• RQ1 高価なサンプリングや最適化に依存せずに、部分的に観測されたランダムフィールドモデルにおけるパラメータ学習は可能か？
• RQ2 決定的力学系が、その平均がデータ平均の期待値に収束するパラメータ軌道を生成できるか？
• RQ3 指数計算を回避しつつも、無向モデルにおける一貫性のあるパラメータ推定が可能か？
• RQ4 可視変数と隠れ状態の両方のダイナミクスを統合的かつ実行可能なかたちで統一フレームワークに統合できるか？
• RQ5 ハーディングダイナミクスの時間平均出力が真のデータ分布に一致するための条件は何か？

主な発見

• ハーディングダイナミクスアルゴリズムは、時間平均がデータ分布下での期待値に収束するパラメータ軌道を生成する。
• 確率的サンプリングや反復的最適化を必要とせず、収束を達成する。
• アルゴリズムは完全に決定的であり、指数計算などの計算コストの高い演算を回避する。
• 可視変数および隠れ変数の両方のモデルに適用可能で、部分的に観測されたランダムフィールドにまで拡張可能である。
• 理論的分析により、弱い条件下でも時間平均されたパラメータがデータの十分統計量に一致することが確認された。
• スケーラブルで効率的であり、ベンチマークモデルにおける実験結果から安定した収束が示された。