[論文レビュー] A new sample-based algorithms to compute the total sensitivity index

Piano, Samuele Lo, Ferretti, Federico+4 more|arXiv (Cornell University)|Mar 16, 2017

Probabilistic and Robust Engineering Design参考文献 42被引用数 6

ひとこと要約

本稿では、分散に基づく感度分析における全感度インデックスを計算するための新しいサンプルベースのアルゴリズムを提案し、その性能を評価する。計算の効率性と正確性の向上に注力している。いくつかの従来のアルゴリズム改善について、予想された性能向上が得られていないことが判明し、探索性と効率性の設計上の制限が、確立された最良手法を上回る困難さを示している。

ABSTRACT

Variance-based sensitivity indices have established themselves as a reference among practitioners of sensitivity analysis of model output. It is not unusual to consider a variance-based sensitivity analysis as informative if it produces at least the first order sensitivity indices S_j and the so-called total-effect sensitivity indices T_j for all the uncertain factors of the mathematical model under analysis. Computational economy is critical in sensitivity analysis. It depends mostly upon the number of model evaluations needed to obtain stable values of the estimates. While efficient estimation procedures independent from the number of factors under analysis are available for the first order indices, this is less the case for the total sensitivity indices. When estimating T_j, one can either use a sample-based approach, whose computational cost depends fromon the number of factors, or approaches based on meta-modelling/emulators, e.g. based on Gaussian processes. The present work focuses on sample-based estimation procedures for T_j and tries different avenues to achieve an algorithmic improvement over the designs proposed in the existing best practices. We conclude that some proposed sample-based improvements found in the literature do not work as claimed, and that improving on the existing best practice is indeed fraught with difficulties. We motivate our conclusions introducing the concepts of explorativity and efficiency of the design.

研究の動機と目的

• 分散に基づく感度分析における全感度インデックスを推定するより効率的なサンプルベースのアルゴリズムの開発。
• 最近のサンプルベース推定におけるアルゴリズム改善が、確立された最良手法を上回るかどうかの評価。
• 一部の提案手法が予想された正確性および効率性の向上を達成できない理由の特定と説明。
• 感度分析の実験設計における探索性と効率性の概念の導入と評価。
• 既存のサンプルベース手法の批判的評価と、今後のアルゴリズム開発の指針提供。

提案手法

• 著者は、全感度インデックスを推定するためのさまざまなサンプルベースの設計を評価し、それらを確立された最良手法と比較している。
• アルゴリズムの性能を評価するために、探索性（入力空間をどれだけうまく探索しているか）と効率性（推定あたりの計算コスト）の概念を導入している。
• 全感度インデックス T_j を推定するために、モンテカルロサンプリングと分散分解技術が使用されている。
• ラテンハイパーサンプリングや直交配列に基づく複数のサンプリング戦略をテストし、その有効性を評価している。
• ベンチマークモデルを用いて結果を検証し、異なる設計における推定の収束速度と安定性を比較している。
• 理論的考察と合成的および実世界のモデルにおける実証的テストの両方を含んでいる。

実験結果

リサーチクエスチョン

• RQ1 新しいサンプルベースのアルゴリズムが、計算の効率性と正確性の面で、既存の最良手法を上回ることができるか？
• RQ2 なぜ最近提案されたサンプルベース手法の多くが、性能向上を実現できないのか？
• RQ3 探索性や効率性といった設計的特徴が、全感度インデックス推定の信頼性にどの程度影響を及えるのか？
• RQ4 異なるサンプリング戦略が、全感度インデックス推定の収束性と安定性にどのように影響を与えるか？
• RQ5 サンプルベースによる全感度インデックス推定を改善する際の根本的な制限は何か？

主な発見

• 文献に提案されたいくつかのサンプルベースの改善策は、正確性や効率性の面で予想された成果を上げていない。
• 本研究では、サンプリング設計における低い探索性が、全感度インデックス推定の不安定さやバイアスを引き起こす原因であると特定した。
• 既存の最良手法は依然として堅牢であり、それらを上回ることは著しく困難である。
• 全感度インデックスを推定する計算コストは、入力要因の数が増えると、特にサンプルベース手法において顕著に増加する。
• 効率性と探索性は重要な設計基準であり、これらを無視すると感度分析における性能が劣化する。
• 著者らは、計算の効率性が優先される状況では、メタモデル手法（例：ガウス過程）がサンプルベース手法よりも適している可能性があると結論づけている。