[論文レビュー] Why (and When and How) Contrastive Divergence Works

Ian E. Fellows|arXiv (Cornell University)|May 3, 2014

Complex Network Analysis Techniques参考文献 10被引用数 3

ひとこと要約

この論文は、正規化定数が計算不能な指数型分布族モデルにおける対照的分散（CD）の厳密な理論的基盤を提供し、CDを変分近似として定式化し、そのモーメント条件を正当化する。CDは、同じノードに接続されたような高次元の状態空間の部分集合を効率的に再訪問できるMCMCカーネルと組み合わせると、特に指数型分布族ランダムグラフモデル（ERGMs）のような高次元モデルにおいて、擬似尤度よりも高速な収束と改善された推論を実現する。

ABSTRACT

Contrastive divergence (CD) is a promising method of inference in high dimensional distributions with intractable normalizing constants, however, the theoretical foundations justifying its use are somewhat shaky. This document proposes a framework for understanding CD inference, how/when it works, and provides multiple justifications for the CD moment conditions, including framing them as a variational approximation. Algorithms for performing inference are discussed and are applied to social network data using an exponential-family random graph models (ERGM). The framework also provides guidance about how to construct MCMC kernels providing good CD inference, which turn out to be quite different from those used typically to provide fast global mixing.

研究の動機と目的

• 正規化定数が計算不能なモデルにおけるCDの使用に、原則的基盤を提供することで、CDにおける理論的弱みを是正すること。
• ヒューリスティックな仮定に依存せず、変分近似を含む複数の視点からCDのモーメント条件を正当化すること。
• CDが高次元の指数型分布族モデルにおいて擬似尤度を上回るよう、効果的なMCMCカーネルの設計を指南すること。
• シミュレーションを通じて、適切に構築されたカーネルを用いたCDが、特に推移性およびネットワーク構造項に関して最尤推定値に近い推定値を達成することを示すこと。

提案手法

• CDを真のKLダイバージェンス最小化の変分近似として再解釈する、新しい拡張されたダイバージェンスフレームワークを提案する。
• 変分下界を含むCDの目的関数を再定式化し、CDのモーメント条件に対する理論的根拠を提供する。
• ノードを1つ選択し、それに接続されたs個のdyadを更新する「ノード-s MCMCカーネル」を導入し、ランダムまたは逐次走査よりも混合性能を向上させる。
• 勾配法に代えて、パラメータ推定の収束を高速化するニュートンに類似した更新スキームを採用する。
• ERGMsにおいて現実的なネットワーク依存性をモデル化するため、幾何的加重エッジワイズ共有パートナー（GWESP）統計量と最大次数制約のオフセットを用いる。
• 社会的ネットワークデータに指数型分布族ランダムグラフモデル（ERGMs）を適用し、CDと擬似尤度、最尤推定（MLE）を比較する。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠が弱いにもかかわらず、対照的分散（CD）が実際にはなぜ機能するのか？
• RQ2 高次元の指数型分布族モデルにおいて、CDが擬似尤度を意味的に上回るのはいつか？
• RQ3 高次元の状態空間において、CD性能を最大化するためにMCMCカーネルはどのように設計すべきか？
• RQ4 CDのモーメント条件 g(y) = E_Tq(g(Y)) の理論的根拠は何か？
• RQ5 最尤推定値に近い精度を維持しつつ、CDを計算的に効率化する方法は何か？

主な発見

• CD推定はERGMにおける推移性に関して、擬似尤度を著しく上回り、GWESP推定値はMLEと1標準偏差以内に収まるが、MPLEは3標準偏差以上ずれていた。
• 同じノードに接続されたdyadに焦点を当てたノード-s MCMCカーネルは、k ≥ 2048ステップでMLEに近い性能を達成し、部分空間の次元数が1269であるにもかかわらず効果的である。
• ランダムスキャンギブスサンプラーですら、16,384ステップでも擬似尤度を改善できず、チェーンが依存する領域を効率的に再訪問しない限り、グローバルな混合性だけでは不十分であることが確認された。
• ニュートンに類似した更新スキームは勾配更新よりも収束が速く、複雑なモデルにおけるCD推定に有効であることが検証された。
• 適切に設計されたカーネルを用いたCDは、エッジ、nodeMatch、孤立ノードの平均値パラメータにおけるバイアスを低減し、擬似尤度よりもMLEに近い推定値を達成した。
• 理論的分析により、CDが最も効果的であるのは、MCMCカーネルが状態空間の高次元の依存部分を素早く再訪問できる場合であることが確認された。