[論文レビュー] The underlying connections between identifiability, active subspaces, and parameter space dimension reduction

Andrew F. Brouwer, Marisa C. Eisenberg|arXiv (Cornell University)|Feb 15, 2018

Model Reduction and Neural Networks参考文献 2被引用数 7

ひとこと要約

本稿は、感度フィッシャー情報行列（FIM）を通じて、同定可能性、アクティブサブスパイス、およびパラメータ空間次元削減を統一的な枠組みで結びつける。アクティブサブスパイス、同定可能性、そしてスロッピーネスがすべて、同じ数学的構造—すなわち感度FIM—に起因することを示し、これらの手法が本質的に関連していることを明らかにした。これにより、異なる科学的応用分野におけるモデル還元とパラメータ推定の信頼性が向上し、相互に手法を補完する知見が得られる。

ABSTRACT

The interactions between parameters, model structure, and outputs can determine what inferences, predictions, and control strategies are possible for a given system. Parameter space reduction and parameter estimation---and, more generally, understanding the shape of the information contained in models with observational structure---are thus essential for many questions in mathematical modeling and uncertainty quantification. As such, different disciplines have developed methods in parallel for approaching the questions in their field. Many of these approaches, including identifiability, sloppiness, and active subspaces, use related ideas to address questions of parameter dimension reduction, parameter estimation, and robustness of inferences and quantities of interest. In this paper, we show that active subspace methods have intrinsic connections to methods from sensitivity analysis and identifiability, and indeed that it is possible to frame each approach in a unified framework. A particular form of the Fisher information matrix (FIM), which we denote the sensitivity FIM, is fundamental to all three approaches---active subspaces, identifiability, and sloppiness. Through a series of examples and case studies, we illustrate the properties of the sensitivity FIM in several contexts. These initial examples show that the interplay between local and global and linear and non-linear strongly impact the insights each approach can generate. These observations underline that one's approach to parameter dimension reduction should be driven by the scientific question and also open the door to using tools from the other approaches to generate useful insights.

研究の動機と目的

• 数学的モデリングにおける同定可能性、アクティブサブスパイス、およびパラメータ空間次元削減の理論的・実用的関係を明確化すること。
• これらの見た目には異なる手法が、感度フィッシャー情報行列（FIM）に共通する基盤を有することを示すこと。
• 感度FIMが、さまざまなモデリング文脈において、パラメータ空間内のアクティブ（感受性が高い）およびインアクティブ（感受性が低い）方向を一貫して解釈可能にする方法を示すこと。
• コスト関数やベクトル値の目的関数（QOI）を用いて複雑な出力を要約し、次元削減の知見を向上させることの有効性を示すこと。
• アクティブサブスパイスなどの手法のツールが、同定可能性やスロッピーネスなどの他の手法を強化することができることを示し、異分野間統合を促進すること。

提案手法

• 局所的感度分析を用いて、アクティブサブスパイス、同定可能性、およびスロッピーネスの背後にある中心的対象としての感度FIMを形式化する。
• パラメータ空間全体における平均感度FIM（C）をアクティブサブスパイスの中心的量として定義し、目的関数（QOI）のヘッセ行列から導出する。
• 感度FIMの固有値分解を実行し、パラメータ空間内でのアクティブ（大きな固有値）およびインアクティブ（小さな固有値）方向を同定する。
• 十分な要約プロットを用いて、最初のアクティブ固有ベクトルとスカラーQOI（例：最小二乗コスト関数）の関係を可視化し、次元削減の妥当性を検証する。
• 異なるQOI（スカラーq 対 ベクトルy）および異なるパラメータスケーリング設定（通常対 センタリング／スケーリング）の間で結果を比較し、発見のロバストネスと一貫性を評価する。
• 同定可能な組み合わせと補償的パラメータ行動を示す感染症伝播モデルを用いた事例研究を通じて、本フレームワークの実世界応用における有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 同定可能性、アクティブサブスパイス、およびスロッピーネスは、共通の下位構造を通じてどのように数学的に関連しているか？
• RQ2 感度FIMは、異なるモデリング分野において、パラメータ空間次元削減の統一的枠組みとしてどの程度有効に機能するか？
• RQ3 局所的・グローバル的、線形的・非線形的、スカラー的・ベクトル値のQOIが、アクティブおよびインアクティブパラメータ方向の解釈にどのように影響するか？
• RQ4 コスト関数は、時系列またはベクトル値の出力を有するモデルにおいて、次元削減を可能にする有効な要約QOIとして機能できるか？
• RQ5 パラメータのスケーリングと変換は、アクティブサブスパイスの結果および十分な要約プロットの安定性と解釈可能性にどのように影響するか？

主な発見

• 感度FIMは、アクティブサブスパイス、同定可能性、およびスロッピーネスを統一する数学的枠組みを提供し、それらがすべてパラメータ感受性構造に依存していることを明らかにした。
• 感染症伝播モデルでは、感度FIMの最初の2つの固有ベクトルが同定可能な組み合わせに対応しており、$k$ と $\beta_W + \beta_I$ であった。残りの2つの固有ベクトルは、$\beta_W$ と $\beta_I$、および $\xi$ を含む同定不能で補償的（compensatory）な方向を捉えていた。
• 最初の2つの固有値の間の固有値ギャップは、$\xi$ が高速な場合に大きく、より強い次元削減の可能性と、アクティブ・インアクティブ方向の明確な分離を示唆していた。
• 十分な要約プロットは、高速 $\xi$ 情報下で、最初のアクティブ固有ベクトルとコスト関数 $q$ の間に強い一次元的関係があることを示し、コスト関数がベクトルQOIのスカラー要約として有効であることを確認した。
• パラメータを $(-1,1)$ にスケーリング・センタリングすることで、特に高速 $\xi$ 情報下で十分な要約プロットの明確さが向上し、アクティブサブスパイス解析におけるパラメータ正規化の重要性が強調された。
• 感度FIMの固有ベクトルおよび固有値は、異なるQOI（スカラー $q$ とベクトル $y$）に対して一貫しており、出力表現の変化に対しても本手法のロバストネスが示された。