[論文レビュー] Mean-Field Networks

Yujia Li, Richard S. Zemel|arXiv (Cornell University)|Oct 21, 2014

Neural Networks and Applications参考文献 9被引用数 19

ひとこと要約

この論文では、層間で重みを共有するフィードフォワードネットワークとして平均場推論アルゴリズムをモデル化する、Mean Field Networks (MFNs) というニューラルネットワークアーキテクチャを提案する。重み共有を緩和し、誤差逆伝播法を再訓練することで、特に反復回数が少ない場合に標準的な平均場手法よりも高速な推論と優れた識別性能を達成する。例えば、MFN-10はMF-30よりも精度と収束速度で優れている。

ABSTRACT

The mean field algorithm is a widely used approximate inference algorithm for graphical models whose exact inference is intractable. In each iteration of mean field, the approximate marginals for each variable are updated by getting information from the neighbors. This process can be equivalently converted into a feedforward network, with each layer representing one iteration of mean field and with tied weights on all layers. This conversion enables a few natural extensions, e.g. untying the weights in the network. In this paper, we study these mean field networks (MFNs), and use them as inference tools as well as discriminative models. Preliminary experiment results show that MFNs can learn to do inference very efficiently and perform significantly better than mean field as discriminative models.

研究の動機と目的

• 平均場推論アルゴリズムを、層間で重みを共有するフィードフォワードニューラルネットワークとして再定式化すること。
• 重み共有とネットワーク構造の緩和を検討し、推論効率と識別性能を向上させること。
• MFNを構造予測タスクにおける推論エンジンおよびエンドツーエンドの識別モデルとして評価すること。
• MFNが、反復回数が限られている場合に特に顕著に、標準的な平均場推論よりも精度と収束速度で優れていることを示すこと。

提案手法

• 各平均場反復をフィードフォワード層に対応させ、変数をノード、メッセージを活性化関数、ポテンシャルを学習可能な重みとバイアスとして表現する。
• ソフトマックス非線形性を用いて平均場更新ルールをフィードフォワード操作として表現し、微分可能で構造的なネットワークを構築する。
• KLダイバージェンスまたはヘッジ損失を最小化するようにバックプロパゲーションでMFNを訓練することで、推論と識別的目的の両方をエンドツーエンドで最適化可能にする。
• 層間の重み共有を緩和（重みを解除）することで、各層が異なるパラメータを学習可能とし、表現力と収束性を向上させる（アンタイドMFN）。
• 条件付きランダムフィールド（CRF）を基礎とするグラフィカルモデルとし、単一およびペairワイズのポテンシャルを特徴量とエッジペナルティでパラメータ化する。
• 勾配ベース最適化を用いて、推論と識別的モデリングの両方のパラメータを学習し、反復的推論を微分可能サブルーチンとして利用する。

実験結果

リサーチクエスチョン

• RQ1 平均場推論アルゴリズムは、層間で重みを共有する深層フィードフォワードニューラルネットワークとして効果的に再定式化可能か？
• RQ2 このようなネットワークにおいて、重み共有を解除することで、標準的な平均場手法に比べて推論精度と収束速度が向上するか？
• RQ3 MFNは、構造予測タスクにおける有効な識別的モデルとして機能できるか？ 伝統的な平均場推論を上回る性能を示せるか？
• RQ4 MFNの性能は、反復回数（層数）が増加するにつれてどのように変化するか？ 特に、より多くの反復回数を要する標準的な平均場手法と比較してどうか？
• RQ5 識別的目的でエンドツーエンドに訓練する利点は何か？ それとも、単に推論にのみ使用する方が良いのか？

主な発見

• MFN-10（10反復）は、KLダイバージェンスが -12908.80 と、MF-30（-12908.54）を下回り、より高速で正確な推論を実現した。
• MFN-10はテスト精度においてMF-30を上回り、反復回数が少ないにもかかわらず、より優れた結果を得られることを示した。
• アンタイドMFN（MFN-3）は、テスト精度0.8151を達成し、学習済みパラメータを用いたMF-30（0.8109）を上回り、すべての平均場ベースラインを上回った。
• 標準的な学習率を用いた重み共有MFN-3-t（tied weights）は収束が不安定だったが、アンタイド訓練により、より高速な収束と高い性能が達成された。
• MFNの各層における勾配は著しく異なるため、層ごとの最適化を可能にするためにアンタイド重みを用いることが正当化される。
• 識別的モデルとして訓練されたMFNは、テスト精度0.8151を達成し、学習済みパラメータを用いたMF-30（0.8109）を上回り、優れた識別能力を示した。