[論文レビュー] Semiparametric energy-based probabilistic models

Jan Humplik, Gašper Tkačik|arXiv (Cornell University)|May 24, 2016

Neural dynamics and brain function参考文献 23被引用数 3

ひとこと要約

本稿では、柔軟で非パラメトリックな表現を用いてエネルギー関数の非線形変換を学習することで、従来のエネルギーに基づくモデルを一般化する半パラメトリックエネルギーモデルを提案する。非線形性を区分的定数関数に基づく基底関数でモデル化し、エネルギーのパrameterと同時に最適化することで、大きなダイナミックレンジを示す複雑な確率分布を捉えることができる。実際の網膜神経データにおいて、標準モデルを効果的に上回ることを示した。

ABSTRACT

Probabilistic models can be defined by an energy function, where the probability of each state is proportional to the exponential of the state's negative energy. This paper considers a generalization of energy-based models in which the probability of a state is proportional to an arbitrary positive, strictly decreasing, and twice differentiable function of the state's energy. The precise shape of the nonlinear map from energies to unnormalized probabilities has to be learned from data together with the parameters of the energy function. As a case study we show that the above generalization of a fully visible Boltzmann machine yields an accurate model of neural activity of retinal ganglion cells. We attribute this success to the model's ability to easily capture distributions whose probabilities span a large dynamic range, a possible consequence of latent variables that globally couple the system. Similar features have recently been observed in many datasets, suggesting that our new method has wide applicability.

研究の動機と目的

• 標準のエネルギーに基づくモデルが、潜在変数によって全般的に結合する場合に、大きなダイナミックレンジを示す確率分布を捉える能力に限界を示すという問題に対処すること。
• 特定の関数形を仮定せずに、エネルギーから非正規化確率への非線形変換を柔軟で非パラメトリックにモデル化する手法を開発すること。
• エネルギー関数と非線形変換を同時に最適化可能な非制約的最適化を可能にし、モデルの表現力の向上を図ること。
• 特に網膜のゴンギオネルン細胞の活動において、標準モデルが全確率範囲を捉えきれない事例において、本手法の有効性を実証すること。

提案手法

• 本モデルは、標準のエネルギーに基づくモデルを一般化し、エネルギーの負の指数関数を、任意の厳密に単調減少で2回微分可能な関数 V に置き換える。これにより、p(s|α,V) ∝ exp(−V(E(s|α))) が得られる。
• 非線形性 V は微分方程式の形式でパrameter化される：V(E) = γ₁ + γ₂∫ₑ₀ᴱ exp(∫ₑ₀ᴱ′ W(E′′) dE′′) dE′、ここで W は区分的定数関数である。
• W はエネルギーのビンごとの指示関数の基底で展開され、その係数 β を非制約的に最適化可能となる。一方、γ₁ と γ₂ はスケールおよびシフトパラメータとして学習される。
• 結合行列 J と非線形性パラメータ (γ, β) のそれぞれに別々の学習率を設定した、持続的対照的分散（Persistent Contrastive Divergence）を用いてモデルを学習し、安定性を確保する。
• 訓練中に、現在のパラメータ下での観測エネルギー範囲に合わせて、エネルギー範囲 [E₀, E₁] を動的に更新する。
• 収束性の向上とモード崩壊の回避を図るため、密度状態推定アルゴリズムを用いて近似尤度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 エネルギーから確率へのマッピングにおける非パラメトリックで学習可能な非線形性が、神経データにおける複雑で大きなダイナミックレンジを示す確率分布のモデリングを顕著に改善できるか？
• RQ2 提案された半パラメトリックモデルは、網膜のゴンギオネルン細胞活動の統計を捉える点で、標準のペアワイズモデルや制限付きボルツマンマシンと比較してどの程度優れているか？
• RQ3 学習された非線形性が、システム全体に結合効果を及ぼす潜在変数の影響をどの程度正しく捉えられるか？
• RQ4 明示的な隠れユニットのモデル化を要せず、パラメトリックモデルよりも優れた尤度と統計的適合度を達成できるか？
• RQ5 非線形性の非パラメトリック表現が、エネルギー関数パラメータと同時に安定的かつ効率的に最適化可能か？

主な発見

• 半パラメトリックモデルは、標準のペアワイズモデルや制限付きボルツマンマシンと比較して、網膜のゴンギオネルン細胞データにおいて顕著に高い対数尤度を達成し、より良い統計的適合度を示した。
• 本モデルは、標準モデルが表現できなかった希少で極めて不確実な状態を含む、神経活動確率の全ダイナミックレンジを効果的に捉えた。
• 学習された非線形性 V は、低エネルギー領域で顕著に非線形であることが判明し、潜在変数による全般的な結合効果を効果的に補正していることが示唆された。
• 持続的対照的分散を用いたエネルギー関数と非線形性の共同最適化により、安定な収束が達成され、最終モデルは一般化性能が向上し、モード崩壊も軽減された。
• W に区分的定数基底を用いることで、制限的な関数形を課さずに効果的な非パラメトリックな非線形性モデリングが可能となった。
• Q=12 個のエネルギービンと最適化されたメタパラメータ E₀ と E₁ を用いた最終モデルが最良の性能を示し、適応的エネルギービン分割の重要性が裏付けられた。