[論文レビュー] A Comparison of Algorithms for Learning Hidden Variables in Normal Graphs

F. Palmieri|arXiv (Cornell University)|Aug 26, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用数 5

ひとこと要約

本稿では、隠れ変数を含む正規因子グラフとして表現されたベイジアンネットワークにおける条件付き確率行列の推定のための、局所化された学習アルゴリズム4種を提示し、比較している。制約付き最尤推定とKKT条件を用いた最小Kullback-Leibler発散の組み合わせにより、任意のSISOブロックに適用可能な安定的でモジュラーな更新ルールを導出しており、Viterbiに類似した手法や変分近似法と比較して、合成データ上での収束性と頑健性に優れていることが示された。

ABSTRACT

A Bayesian factor graph reduced to normal form consists in the interconnection of diverter units (or equal constraint units) and Single-Input/Single-Output (SISO) blocks. In this framework localized adaptation rules are explicitly derived from a constrained maximum likelihood (ML) formulation and from a minimum KL-divergence criterion using KKT conditions. The learning algorithms are compared with two other updating equations based on a Viterbi-like and on a variational approximation respectively. The performance of the various algorithm is verified on synthetic data sets for various architectures. The objective of this paper is to provide the programmer with explicit algorithms for rapid deployment of Bayesian graphs in the applications.

研究の動機と目的

• グラフのトポロジーに依存しない、局所的かつ統一的な学習アルゴリズムを、正規因子グラフとして表現されたベイジアンネットワークのパrameter推定に開発すること。
• 前方および後方の信念メッセージにのみ依存する、明示的で実装可能なSISOブロック用の更新ルールを導出すること。
• 合成データ上での性能を比較することにより、最尤推定、最小Kullback-Leibler発散、Viterbiに類似した近似、および変分近似の4つの学習アルゴリズムの性能を評価すること。
• 実世界の応用に迅速に展開可能な実用的でコード準備済みのフレームワークを提供すること。

提案手法

• 最尤推定および最小Kullback-Leibler発散基準を用いて、制約付き最適化問題として学習問題を定式化する。
• Karush-Kuhn-Tucker (KKT) 条件を適用し、SISOブロック内の条件付き確率行列の閉形式で表現された局所的更新ルールを導出する。
• 最適化中の数値的発散を防ぐために、コスト関数に安定化項を導入する。
• 積空間における変数の曖昧性を処理するための発散ユニットの明示的行列表現を導出し、モジュラーなグラフ構築を可能にする。
• 信念伝搬の原則を用いてメッセージを伝搬させ、パrameter更新のための十分統計量を計算する。
• サイクルのない固定アーキテクチャを有する合成データセットを用いて、収束性と精度を、異なるアルゴリズム間で評価する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークにおけるパrameter学習を、各SISOブロックが前方および後方の信念メッセージのみに依存して、局所的かつモジュラーに実行できるようにするには、どのようにすればよいか？
• RQ2 隠れ変数が存在する状況下で、最尤推定、最小Kullback-Leibler発散、Viterbiに類似した近似、および変分近似法の相対的な収束速度と推定精度は、それぞれどのように異なるか？
• RQ3 トポロジー固有の導出を必要とせず、任意の正規因子グラフアーキテクチャに適用可能な、統一的で安定的かつ実装可能な学習アルゴリズムを導出できるか？
• RQ4 スパースな観測値や確率がゼロの観測値を扱う場合、提案手法の頑健性および数値的安定性は、どのように評価できるか？

主な発見

• KKT条件を用いて導出した最尤推定および最小Kullback-Leibler発散法は、Viterbiに類似した手法や変分近似法と比較して、収束性と安定性に優れていることが示された。
• コスト関数に正規化安定化項を組み込むことで、数値的発散を防ぎ、特に初期確率がゼロである場合の頑健性が向上した。
• すべてのアルゴリズムが局所的かつトポロジーに依存せず、任意の正規因子グラフのSISOブロックに直接実装可能であり、アーキテクチャの変更を要しない。
• 合成実験の結果、MLおよびKLベースのアルゴリズムが、Viterbiに類似した手法や変分近似法と比較して、より速い収束速度と低い推定誤差を達成した。
• 導出された更新ルールは明示的な行列形式で表現されており、直接コード化可能であり、信号処理やAI応用分野におけるソフトウェアデプロイメントのための実用的で即席のソリューションを提供する。