[論文レビュー] Bayesian Approaches to Nonlinear Network Reconstruction

Wei Pan, Ye Yuan+2 more|arXiv (Cornell University)|Aug 15, 2014

Gene Regulatory Network Analysis参考文献 39被引用数 4

ひとこと要約

本稿では、限られたノイズの多い時系列データから離散時間非線形系を再構築するためのベイジアンスパース回帰手法を提案する。非凸的最適化問題を凸化した反復的重み付けℓ1最小化とスパース性を促進する事前分布、および周辺尤度の最大化を用いることで、非線形関数形とパラメータの正確な同定が可能となり、遺伝子リプレッセイレーターとカウラモト発振子ネットワークで検証された。

ABSTRACT

This technical note considers the reconstruction of discrete-time nonlinear systems with additive noise. In particular, we propose a method and its associated algorithm to identify the system nonlinear functional forms and their associated parameters from a limited number of noisy time-series data. For this, we cast this reconstruction problem as a sparse linear regression problem and take a Bayesian viewpoint to solve it. As such, this approach typically leads to nonconvex optimisations. We propose a convexification procedure relying on an efficient iterative reweighted `1-minimisation algorithm that uses general sparsity inducing priors on the parameters of the system and marginal likelihood maximisation. Using this approach, we also show how convex constraints on the parameters can be easily added to our proposed iterative reweighted `1-minimisation algorithm. In the supplementary material [1], we illustrate the effectiveness of the proposed reconstruction method on two classical systems in biology and physics, namely, a genetic repressilator network and a large scale network of interconnected Kuramoto oscillators.

研究の動機と目的

• 限られたノイズの多い時系列データから非線形力学系を再構築する課題に対処すること。
• 非線形系同定に内在する非凸的最適化の困難を克服すること。
• スパースベイジアン学習を用いて非線形系の関数形とパラメータの両方を正確に回復できること。
• スケーラブルな最適化フレームワーク内で、システムパラメータに凸制約を組み込むこと。
• 生物学的・物理学的ベンチマーク系において、本手法の有効性を示すこと。

提案手法

• 非線形基底関数空間におけるスパース線形回帰問題として、非線形系再構築問題を定式化すること。
• 一般化されたスパース性を促進する事前分布を用いたベイジアンフレームワークを採用し、モデル選択を簡素化すること。
• 非凸的最適化問題を凸化するために、反復的重み付けℓ1最小化アルゴリズムを実装すること。
• 周辺尤度の最大化を用いてハイパーパrameterを自動的にチューニングし、モデルの汎化性能を向上させること。
• 反復的重み付けフレームワーク内での制約付き最適化により、パラメータに凸制約を統合すること。
• 問題の構造を活用して、計算の効率化と大規模ネットワークへのスケーラビリティを実現すること。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンスパース回帰手法は、限られたノイズの多い時系列データから非線形ダイナミクスを効果的に再構築できるか？
• RQ2 非線形系同定における非凸的最適化を、信頼性の高い計算が可能な形に効果的に凸化できるか？
• RQ3 スパース性を促進する事前分布は、同定された非線形関数の正確性と解釈可能性をどの程度向上できるか？
• RQ4 システムパラメータに凸制約を再構築フレームワークにスムーズに統合できるか？
• RQ5 本手法は、遺伝子リプレッセイレーターとカウラモト発振子のような実世界の非線形ネットワークにおいて、どのように性能を発揮するか？

主な発見

• 提案手法は、わずかなノイズの多い時系列観測値のみを用いても、遺伝子リプレッセイレーター・ネットワークの内在する非線形ダイナミクスを効果的に再構築できた。
• 反復的重み付けℓ1最小化アルゴリズムは、加法的ノイズが存在する中でも、関数形とパラメータの両方を正確に同定できた。
• パラメータに凸制約を組み込むことは実現可能であり、再構築モデルの物理的妥当性を向上させた。
• 周辺尤度の最大化を用いることで、ハイパーパrameterの自動チューニングが可能となり、モデルのロバストネスが向上した。
• 本手法は、カウラモト発振子の大規模ネットワークにおいても優れた性能を示し、複雑系におけるスケーラビリティと正確性を確認した。