[論文レビュー] Improvement of the cross-entropy method in high dimension for failure probability estimation through a one-dimensional projection without gradient estimation

Maxime El-Masri, Jérôme Morio+1 more|arXiv (Cornell University)|Dec 21, 2020

Probabilistic and Robust Engineering Design参考文献 36被引用数 4

ひとこと要約

本稿では、高次元問題におけるレアイベント確率推定のための交差エントロピー（CE）法に、1次元射影に基づく改善を提案する。現在の平均ベクトル推定値の方向にのみ共分散行列を更新することで、勾配推定を必要とせず、高次元における共分散行列の崩壊問題を回避する。計算予算を維持したまま、特に高次元においてCE性能を顕著に向上させ、性能を劣化させることはない。

ABSTRACT

Rare event probability estimation is an important topic in reliability analysis. Stochastic methods, such as importance sampling, have been developed to estimate such probabilities but they often fail in high dimension. In this paper, we propose a new cross-entropy-based importance sampling algorithm to improve rare event probability estimation in high dimension. We focus on the cross-entropy method with Gaussian auxiliary distributions and we suggest to update the Gaussian covariance matrix only in a one-dimensional subspace. For that purpose, the main idea is to consider the projection in the one-dimensional subspace spanned by the sample mean vector, which gives an influential direction for the variance estimation. This approach does not require any additional simulation budget compared to the basic cross-entropy algorithm and we show on different numerical test cases that it greatly improves its performance in high dimension.

研究の動機と目的

• 高次元における信頼性解析で標準CE法が失敗する主な要因である共分散行列の退化問題を解決すること。
• 勾配フリーで計算効率の高いアプローチにより、高次元におけるレアイベント確率推定を改善すること。
• 基本的なCE法と同一のシミュレーション予算を維持しつつ、収束性と精度を向上させること。
• パrameter空間における最も影響力のある方向に焦点を当てることで、完全な共分散行列更新の代替としての強健性を提供すること。
• 一様なターゲット故障分布を仮定する信頼性解析において一般的な前提を満たすようにすること。

提案手法

• 現在の平均ベクトル推定値（m*）が張る1次元部分空間に、高次元パラメータ更新を射影する。
• 全共分散行列ではなく、各反復でm*方向の共分散項のみを更新する。
• 標本平均ベクトルを主方向として用いることで、分散低減に最も寄与する方向に対応する。
• 標準CEアルゴリズムの構造を保ちつつ、共分散更新を1つの主要方向に制限することで推定ノイズを低減する。
• ガウス分布の軽尾性を活用し、m*方向に沿った分散推定を安定化させる。
• 勾配推定を完全に回避し、重要度サンプリングフレームワークからの標本平均と重みに依存する。

実験結果

リサーチクエスチョン

• RQ1 共分散更新方向の1次元射影が、高次元故障確率推定におけるCE法の収束性と精度を顕著に向上させ得るか？
• RQ2 現在の平均ベクトルの方向に共分散更新を制限することで、高次元において標準CE法が直面する共分散行列の退化を回避できるか？
• RQ3 勾配計算を不要としつつ、完全共分散更新（例：CEd）と同等またはそれ以上の性能を維持・向上できるか？
• RQ4 本手法は、すべての入力変数が影響を及ぼすようなさまざまな高次元テストケースにおいても強健性を示せるか？
• RQ5 計算複雑性と推定分散を低減しつつ、CEの理論的性質を保持できるか？

主な発見

• 提案手法CE-m*は、高次元問題における標準CE法で一般的な共分散行列の崩壊問題を回避する。
• 次元数が200以上（例：n > 200）の高次元領域では、CE-m*は標準CEおよびCEdを常に上回り、標準CEが収束に失敗する領域でも正確な推定値を得られる。
• 次元数が100未満の範囲では、CE-m*はCEdと同等の精度と変動係数（CV）を達成する。
• 放物型テスト関数（n = 100）において、CE-m*は平均推定値2.9 × 10⁻⁴、変動係数7.2%を達成し、標準CEを著しく上回った。
• 本手法はCE性能を劣化させず、高次元設定では収束性が桁違いに優れている。
• 実験的結果から、m*方向にのみ分散を推定することで、全共分散または対角共分散更新よりも信頼性が高く情報量の多い更新が得られることを示した。