[論文レビュー] New improvements in the use of dependence measures for sensitivity analysis and screening

Matthias De Lozzo, Amandine Marrel|arXiv (Cornell University)|Dec 3, 2014

Probabilistic and Robust Engineering Design参考文献 1被引用数 4

ひとこと要約

本稿では、高次元で計算コストの高いシミュレータにおけるグローバル感度分析および入力スクリーニングのため、古典的なソボル指数の効率的代替手段として距離相関とヒルバート＝シュミット独立性基準（HSIC）を提案する。これらの測度に基づく漸近的・スペクトル的・非漸近的独立性検定を導入するとともに、ブートストラップを用いた線形モデルに基づく入力選択手法を提示し、依存度測度が少ないシミュレーション回数で高速かつ正確なスクリーニングを可能にすることを示している。特にサンプルサイズが小さい場合や入力次元が高い場合に顕著な効果を示す。

ABSTRACT

Physical phenomena are commonly modeled by numerical simulators. Such codes can take as input a high number of uncertain parameters and it is important to identify their influences via a global sensitivity analysis (GSA). However, these codes can be time consuming which prevents a GSA based on the classical Sobol' indices, requiring too many simulations. This is especially true as the number of inputs is important. To address this limitation, we consider recent advances in dependence measures, focusing on the distance correlation and the Hilbert-Schmidt independence criterion (HSIC). Our objective is to study these indices and use them for a screening purpose. Numerical tests reveal some differences between dependence measures and classical Sobol' indices, and preliminary answers to "What sensitivity indices to what situation?" are derived. Then, two approaches are proposed to use the dependence measures for a screening purpose. The first one directly uses these indices with independence tests; asymptotic tests and their spectral extensions exist and are detailed. For a higher accuracy in presence of small samples, we propose a non-asymptotic version based on bootstrap sampling. The second approach is based on a linear model associating two simulations, which explains their output difference as a weighed sum of their input differences. From this, a bootstrap method is proposed for the selection of the influential inputs. We also propose a heuristic approach for the calibration of the HSIC Lasso method. Numerical experiments are performed and show the potential of these approaches for screening when many inputs are not influential.

研究の動機と目的

• 高次元感度分析における古典的ソボル指数の計算負荷を軽減するため、より高速な依存度に基づく代替手法を提案すること。
• 分散に基づく指標よりもモデル評価回数を減らせる依存度測度（距離相関、HSIC）を用いた実用的なスクリーニング手法の開発。
• 独立性検定とブートストラップを用いた係数検定を組み合わせたフレームワークを提供し、影響力のある入力を特定する。
• 異なるモデル構造とサンプルサイズ下での、HSIC や距離相関といった依存度測度と古典的ソボル指数の適切さを調査すること。
• HSIC Lasso 法のためのヒューリスティックなパラメータキャリブレーションを提示し、スクリーニング状況における特徴選択の改善を図ること。

提案手法

• HSIC および距離相関の帰無仮説の分布に対する漸近的およびスペクトル的近似を用いて独立性検定を実施する。
• 小標本設定での精度向上を目的として、非漸近的ブートストラップ検定を提案する。
• 出力の差を入力の差の重み付き和として表現する線形モデルを定式化し、係数のブートストラップに基づく有意性検定を可能にする。
• ℓ¹正則化を用いたHSIC Lassoアプローチを導入し、正の係数を保つためにLARSアルゴリズムを用いて解く。
• モデル選択の最適化を図るため、標準誤差の重み付けを施した交差検証を用いてHSIC Lassoのペナルティパラメータをキャリブレーションする。
• 既知の入出力関係を持つ解析的テスト関数を用いた数値実験により、各手法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 非線形性や高次元性が顕著な状況下で、距離相関とHSICは古典的ソボル指数に比べて入力の影響をどれほど効果的に検出できるか。
• RQ2 小〜中規模のサンプルサイズにおいて、計算コストと精度のバランスを最もよく取る独立性検定（漸近的・スペクトル的・ブートストラップ）はどれか。
• RQ3 入力-出力差の線形モデルに基づくスクリーニングは、直接的な依存度測定評価に比べて性能が向上するか。
• RQ4 HSIC Lasso 法は影響力のある入力をどれほどうまく選択できるか。また、そのペナルティパラメータを最適化する有効な戦略は何か。
• RQ5 どのような状況下で依存度測度がソボル指数と補完的またはより感度の高い洞察を提供するか。特に相互作用効果に関して。

主な発見

• 距離相関とHSICに基づく独立性検定は、古典的ソボル指数に比べて計算効率が高く、モデル評価回数を著しく削減できる。
• 小標本設定では、ブートストラップ検定が漸近的またはスペクトル的近似よりも高い精度を示す一方、大標本では漸近的手法がより効率的である。
• スペクトル的近似は、中規模のサンプルサイズにおいて計算コストと精度のバランスをとる良好な妥協点を提供する。
• 入力差の線形モデルに基づく2番目の手法は、直接的な依存度測度の使用（1番目の手法）に比べてわずかに性能が劣る。
• HSICは単調な効果を距離相関よりも信頼性高く検出できるが、距離相関は非単調な効果に対してより感度が高い傾向にあり、それぞれ異なる感度プロファイルを示す。
• 依存度測度はソボル指数よりも相互作用効果に対してより感度が高く、一部のテストケースでは異なる結論を導くことがある。これは、密度に基づく指標（ボルゴネッソの指標など）と補完的である可能性を示唆している。