[論文レビュー] The battle of total-order sensitivity estimators

Arnald Puy, William E. Becker+2 more|arXiv (Cornell University)|Sep 2, 2020

Probabilistic and Robust Engineering Design参考文献 7被引用数 15

ひとこと要約

本研究は、サンプリング手法、入力分布、標本サイズ、テスト関数、次元数、および高次効果を確率変数として扱う、包括的で高次元のハイパーキューブフレームワークにおいて、全順序感度推定器の性能を評価する。結果として、RazaviとGuptaの推定器が他の推定器を上回り、次いでJansenの推定器とJanon/Monodの推定器が続く。これはグローバル感度分析において最も信頼性の高い推定器を選択する明確な指針を提供する。

ABSTRACT

Sensitivity analysis helps decision-makers to understand how a given model output responds when there is variation in the model inputs. One of the most authoritative measures in global sensitivity analysis is the Sobol' total-order index ($T_i$), which can be computed with several different estimators. Although previous comparisons exist, it is hard to know which estimator performs best since the results are contingent on several benchmark settings: the sampling method ($ au$), the distribution of the model inputs ($\phi$), the number of model runs ($N_t$), the test function or model ($\varepsilon$) and its dimensionality ($k$), the weight of higher order effects (e.g. second, third, $k_2,k_3$), or the performance measure selected ($\delta$). Here we break these limitations and simultaneously assess all total-order estimators in an eight-dimension hypercube where $( au, \phi, N_t, \varepsilon, k, k_2, k_3, \delta)$ are treated as random parameters. This design allows to create an unprecedentedly large range of benchmark scenarios. Our results indicate that, in general, the preferred estimator should be Razavi and Gupta's, followed by that of Jansen, or Janon/Monod. The remainder lag significantly behind in performance. Our work helps analysts navigate the myriad of total-order formulae by effectively eliminating the uncertainty in the selection of the best estimator.

研究の動機と目的

• ベンチマーク設定のばらつきにより、最良の全順序感度推定器についての合意が得られていないという問題に取り組むこと。
• サンプリング手法、入力分布、標本サイズ、テスト関数の固定設定に制限されていた先行研究の限界を克服すること。
• 広範かつランダムに設定されたベンチマークシナリオの範囲で、すべての主要な全順序推定器を同時に評価すること。
• グローバル感度分析において、最も頑健で信頼性の高い推定器を明確に推薦すること。

提案手法

• 本研究は、8つの主要パラメータ（サンプリング手法（au）、入力分布（φ）、標本サイズ（Nt）、テスト関数（ε）、次元数（k）、2次および3次効果の重み（k2、k3））を確率変数として扱う高次元ハイパーキューブ設計を採用する。
• このアプローチにより、前例のないほど大規模かつ多様なベンチマークシナリオの集合が生成され、推定器の包括的かつ偏りのない比較が可能になる。
• 性能評価には、さまざまな評価基準に耐える強固な性能指標（δ）の範囲が用いられる。
• 比較には、RazaviとGupta、Jansen、Janon/Monod、およびその他の広く用いられる推定器が含まれ、全シナリオにわたって結果が集約される。

実験結果

リサーチクエスチョン

• RQ1 多様で現実的であるがゆえに多様なベンチマークシナリオの範囲で、どの全順序感度推定器が最も優れた性能を発揮するか？
• RQ2 サンプリング手法、入力分布、標本サイズ、および高次効果の変動が、推定器の性能にどのように影響するか？
• RQ3 異なる性能指標（δ）が、推定器の順位付けにどの程度影響を及えるか？
• RQ4 すべてのテスト設定で一貫して優れた性能を発揮する単一の推定器を特定できるか？

主な発見

• RazaviとGuptaの推定器は、テストされた全範囲のベンチマークシナリオにおいて、常に他のすべての推定器を上回る性能を示した。
• Jansenの推定器は性能で2番目に高く、次いでJanon/Monodの推定器が続く。両者とも、残りの推定器を著しく上回った。
• 残りの推定器は、特に高次元または複雑な入力構造下では、正確性と信頼性の面で著しく劣っていた。
• 本研究のランダム化され多変数のベンチマーク設計により、先行研究の比較におけるバイアスが効果的に排除され、推定器選択のより頑健な根拠が得られた。