[論文レビュー] Manifold boundaries give "gray-box" approximations of complex models

Mark K. Transtrum|arXiv (Cornell University)|May 27, 2016

Control Systems and Identification参考文献 6被引用数 7

ひとこと要約

多様体境界近似法（MBAM）は、幾何的モデル簡略化手法であり、高パラメータの複雑なモデルを、その階層的境界（面、辺、頂点）を段階的に近似することで、解釈可能な「グレイボックス」近似へと簡略化する。この手法は、力学系、ネットワークモデル、対数線形分布など、多くのモデルクラスが自然にこの境界階層を示すことを明らかにし、系統的かつ数学的に厳密な簡略化を可能にし、一般的な近似手法を回復するとともに、メカニスティックな洞察を導く。

ABSTRACT

We discuss a method of parameter reduction in complex models known as the Manifold Boundary Approximation Method (MBAM). This approach, based on a geometric interpretation of statistics, maps the model reduction problem to a geometric approximation problem. It operates iteratively, removing one parameter at a time, by approximating a high-dimension, but thin manifold by its boundary. Although the method makes no explicit assumption about the functional form of the model, it does require that the model manifold exhibit a hierarchy of boundaries, i.e., faces, edges, corners, hyper-corners, etc. We empirically show that a variety of model classes have this curious feature, making them amenable to MBAM. These model classes include models composed of elementary functions (e.g., rational functions, exponentials, and partition functions), a variety of dynamical system (e.g., chemical and biochemical kinetics, Linear Time Invariant (LTI) systems, and compartment models), network models (e.g., Bayesian networks, Markov chains, artificial neural networks, and Markov random fields), log-linear probability distributions, and models with symmetries. We discuss how MBAM recovers many common approximation methods for each model class and discuss potential pitfalls and limitations.

研究の動機と目的

• 高パラメータのモデルを簡略化しつつ、メカニスティックな洞察を保持する、体系的で幾何的なモデル簡略化手法を開発すること。
• モデル多様体に内在する階層的境界構造を同定・活用し、効果的な近似を可能にする普遍的特徴としての役割を明らかにすること。
• 特異摂動法や定常状態近似などの一般的な近似手法を、統一的な幾何的枠組みの下に統合すること。
• 複雑系における熟練者主導で直感に基づくモデル簡略化に代わる、再現可能で数学的に厳密な代替手法を提供すること。
• 境界階層が多様なモデルクラスに実証的に広く存在することを示し、MBAMの広範な適用可能性を裏付けること。

提案手法

• MBAMは、モデルのパラメータ空間をフィッシャー情報行列（FIM）を計量とするリーマン多様体とみなすことにより、モデル簡略化問題を幾何的近似問題に変換する。
• モデル多様体の主曲率方向を特定し、多様体をその境界で近似することで、変化が最も遅く、最も関連性の高いパラメータ方向を抽出する。
• 反復的に処理を行う：各ステップで、現在の多様体の境界を近似することで1つのパラメータを削除し、次元を低減しながらも挙動を保持する。
• モデル多様体に面・辺・頂点などの境界の階層が存在することに依存しており、多くのモデルクラスで自然にこの構造が出現する。
• 関数形にパラメトリックな制限を課さない非パrametricな手法であり、多様体が薄く有界な幾何構造と階層的構造を示せば十分である。
• MBAMは、定常状態近似や部分平衡近似などの既知の近似手法を、境界近似の特殊ケースとして回復し、それらの背後にある幾何的統一性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 幾何的モデル簡略化アプローチは、高次元モデル多様体の階層的境界構造を体系的に同定・活用できるか？
• RQ2 力学系、ネットワークモデル、対数線形分布などの多様なモデルクラスにおいて、境界階層（面、辺、頂点）がどの程度一般的に存在するか？
• RQ3 MBAMは、特異摂動法や lumping といった従来手法と比較して、精度、解釈可能性、計算コストの観点でどのように異なるか？
• RQ4 モデル多様体がMBAMを支持するための必要十分条件は何か？また、どのような状況でこの手法は失敗するか？
• RQ5 MBAMは、複雑系の挙動を支配する背後メカニズムを明らかにする、有効で解釈可能な近似を自動で発見できるか？

主な発見

• 化学キネティクス、LTI系、ベイジアンネットワーク、マルコフ連鎖、人工ニューラルネットワーク、対数線形モデルなど、多くのモデルクラスがモデル多様体において階層的境界構造を示しており、MBAMの適用に適している。
• MBAMは、定常状態近似や部分平衡近似といった既存の近似手法を、モデル多様体境界の幾何的極限として正確に再現している。
• 境界が有界でない多様体に対しても、特定の線形最小二乗モデルでは断面に階層的構造が存在するため、MBAMは有効に機能する。
• 球面や超平面のようなソフト境界または境界のないモデルではMBAMに失敗するため、有界性に加え階層的構造の存在が重要な要件であることが示された。
• 対称性や特異点（例：円錐多様体）の存在は、境界点が有効な近似として機能する場合があるが、測地線パスがそれらに収束しない場合がある。
• 実証的証拠から、階層的境界構造は多様なモデルにおいて驚くほど広く存在することが判明し、有効なモデル簡略化の背後にある深い幾何的原理が示唆された。