[論文レビュー] Maximizing weighted Shannon entropy for network inference with little data

Danh-Tai Hoang, Juyong Song+2 more|arXiv (Cornell University)|May 18, 2017

Neural dynamics and brain function被引用数 2

ひとこと要約

本稿では、小規模なデータセットにおけるモデル回復を向上させるために、重み付きシャノンエントロピーを最大化する統計物理学に基づくネットワーク推定手法を提案する。データの自由エネルギーを最小化することで、非平衡状態の運動的イジン模型における結合強度の正確な推定が可能となり、限られたデータでもサンショウウオの網膜における機能的結合性や為替レートネットワークの再構築に成功する。

ABSTRACT

Success in modeling complex phenomena such as human perception hinges critically on the availability of data and computational power. Significant progress has been made in modeling such phenomena using probabilistic methods, particularly in image analysis and speech recognition. Maximum Likelihood Estimation (MLE) combined with Bayesian model selection is the basis of much of this progress, as MLE converges to the true model with copious data. In the sciences, large enough datasets are rarae aves, so alternatives to MLE must be developed for small sample size. We introduce a data-driven statistical physics approach to model inference based on minimizing a free energy of data and show superior model recovery for small sample sizes. We demonstrate coupling strength inference in non-equilibrium kinetic Ising models, including in the difficult large coupling variability regime, and show scaling to systems of arbitrary size. As applications, we infer a functional connectivity network in the salamander retina and a currency exchange rate network from time-series data of neuronal spiking and currency exchange rates, respectively. Accurate small sample size inference is critical for devising a profitable currency hedging strategy.

研究の動機と目的

• 神経科学やファイナンシャルモデリングにおいて一般的に見られるデータが限られた状況における正確なネットワーク推定の課題に対処すること。
• 小標本サイズ下で失敗する最大尤度推定（MLE）の限界を克服すること。
• 自由エネルギー最小化を活用して、非平衡系におけるモデル回復を改善するデータ駆動型手法を開発すること。
• 特に結合強度の変動が大きい状況においても、任意のサイズのシステムに対してスケーラブルな推定を可能とすること。
• 網膜の機能的結合性や為替レートネットワークなど、実世界の応用における実用的有効性を示すこと。

提案手法

• 統計物理学の原則に従い、データ尤度とエントロピー正則化を組み合わせた自由エネルギー汎関数を定式化する。
• データが限られた状況下で過剰適合を抑えるために、重み付きシャノンエントロピーを最大化する。
• 時間系列データから結合強度を推定する非平衡状態の運動的イジン模型に本手法を適用する。
• 結合強度の事後分布を近似するために、変分ベイズ推定技術を用いて自由エネルギーを最適化する。
• 平均場近似と効率的な数値解法を活用することで、大規模システムへの推定フレームワークをスケーリングする。
• モデルの複雑さとデータ適合度のバランスを取るために、ベイズモデル選択と統合する。

実験結果

リサーチクエスチョン

• RQ1 重み付きエントロピー最大化に基づく自由エネルギー最小化アプローチは、小標本ネットワーク推定においてMLEを上回る性能を発揮するか？
• RQ2 結合強度の値に高いばらつきがある非平衡状態の運動的イジン模型において、本手法は結合強度をどれほど正確に回復できるか？
• RQ3 本手法は、限られた時間系列データから大規模システムの機能的結合性を推定するためにスケーラブルに適用可能か？
• RQ4 本アプローチは、データが疎な実際の生物学的および金融的システムにおいて、機能的ネットワークを正確に再構築可能か？
• RQ5 エントロピー重み付けの影響は、低データ領域におけるモデルの一般化性と頑健性にどのように寄与するか？

主な発見

• 本手法は、特に結合強度の変動が大きい状況下で、MLEに比べてモデル回復の正確性が顕著に向上する。
• 限られた神経細胞のスパikingデータを用いて、サンショウウオの網膜における機能的結合性を正確に推定し、生物学的に妥当なネットワーク構造を明らかにした。
• 短い時間系列データから為替為替レートネットワークを正確に推定可能であり、利益を上げるヘッジ戦略の開発を支援する。
• 本フレームワークは、システムの次元が増加しても正確性を維持しながら、任意のサイズのシステムに効果的にスケーリング可能である。
• 重み付きシャノンエントロピーの最大化により、データが限られた状況でも過剰適合を低減し、一般化性能が向上する。
• 自由エネルギー最小化はMLEの原理的代替手段を提供し、低データ・高ばらつきの状況下で優れた性能を発揮する。