[논문 리뷰] Improvement of the cross-entropy method in high dimension for failure probability estimation through a one-dimensional projection without gradient estimation

Maxime El-Masri, Jérôme Morio외 1명|arXiv (Cornell University)|2020. 12. 21.

Probabilistic and Robust Engineering Design참고 문헌 36인용 수 4

한 줄 요약

이 논문은 고차원 문제에서 희귀사건 확률 추정을 위한 교차 엔트로피(CE) 방법에 대한 일차원 투영 기반 개선을 제안한다. 현재 평균 벡터 추정치의 방향으로만 가우시안 공분산 행렬을 갱신함으로써, 기울기 추정이 필요 없이 고차원에서의 공분산 행렬 붕괴 문제를 피한다. 동일한 계산 예산을 유지하면서도 고차원에서 성능을 크게 향상시키며, 성능이 열등해지는 일도 없다.

ABSTRACT

Rare event probability estimation is an important topic in reliability analysis. Stochastic methods, such as importance sampling, have been developed to estimate such probabilities but they often fail in high dimension. In this paper, we propose a new cross-entropy-based importance sampling algorithm to improve rare event probability estimation in high dimension. We focus on the cross-entropy method with Gaussian auxiliary distributions and we suggest to update the Gaussian covariance matrix only in a one-dimensional subspace. For that purpose, the main idea is to consider the projection in the one-dimensional subspace spanned by the sample mean vector, which gives an influential direction for the variance estimation. This approach does not require any additional simulation budget compared to the basic cross-entropy algorithm and we show on different numerical test cases that it greatly improves its performance in high dimension.

연구 동기 및 목표

• 고차원 신뢰성 문제에서 표준 교차 엔트로피(CE) 방법이 공분산 행렬의 기형으로 인해 실패하는 문제를 해결한다.
• 계산 비용이 저렴하고 기울기 없이 고차원에서의 희귀사건 확률 추정을 향상시킨다.
• 기본 CE 방법과 동일한 시뮬레이션 예산을 유지하면서 수렴성과 정확도를 향상시킨다.
• 매개변수 공간에서 가장 영향력 있는 방향에 집중함으로써 전체 공분산 행렬 갱신에 대한 강력한 대안을 제공한다.
• 이 방법이 단일 최빈값을 가진 목표 실패 분포에 적용 가능하도록 보장한다. 이는 신뢰성 분석에서 흔한 가정이다.

제안 방법

• 현재 평균 벡터 추정치(m*)가 생성하는 일차원 부분공간에 고차원 매개변수 갱신을 투영한다.
• 모든 공분산 행렬을 갱신하는 대신, 각 반복에서 m* 방향의 공분산 항목만 갱신한다.
• 표본 평균 벡터를 주요 방향으로 사용하는 이유는 이 방향이 분산 감소에 가장 영향력 있는 방향이기 때문이다.
• 표준 CE 알고리즘의 구조를 유지하면서도 공분산 갱신을 단일 지배 방향으로 제한하여 추정 노이즈를 줄인다.
• 가우시안 분포의 경미한 尾(꼬리) 성질을 활용하여 m* 방향에서의 분산 추정이 안정적이게 한다.
• 기울기 추정을 완전히 회피하고, 중요도 샘플링 프레임워크에서의 표본 평균과 가중치에만 의존한다.

실험 결과

연구 질문

• RQ1 공분산 갱신 방향을 일차원으로 투영하면 고차원 실패 확률 추정에서 CE 방법의 수렴성과 정확도를 크게 향상시킬 수 있는가?
• RQ2 현재 평균 벡터의 방향으로만 공분산 갱신을 제한하면 고차원에서 표준 CE가 악영향을 받는 공분산 행렬 기형을 방지할 수 있는가?
• RQ3 이 방법은 기울기 계산이 필요 없이 전체 공분산 갱신(예: CEd)과 비교해 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 이러한 방법은 다양한 고차원 테스트 케이스에서 안정성이 보장되는가, 특히 모든 입력 변수가 영향을 미치는 경우에도 마찬가지인가?
• RQ5 이 방법은 계산 복잡도와 추정 노이즈를 줄이면서도 CE의 이론적 성질을 유지하는가?

주요 결과

• 제안된 CE-m* 방법은 고차원 문제에서 흔한 표준 CE의 공분산 행렬 붕괴 문제를 피한다.
• 고차원(예: n > 200)에서는 CE-m*이 표준 CE와 CEd를 항상 능가하며, CE가 수렴하지 못하는 영역에서도 정확한 추정치를 도출한다.
• 차원 수가 100 이하일 경우, CE-m*은 정확도와 변동계수 측면에서 CEd와 유사한 성능을 보인다.
• 파라볼라형 테스트 함수(n = 100)에서 CE-m*은 평균 추정치 2.9 × 10⁻⁴, 변동계수 7.2%를 달성하여 표준 CE를 크게 능가했다.
• 이 방법은 언제나 CE 성능을 열 劣화시키지 않으며, 고차원 환경에서는 수개의 지수 정도 더 빠른 수렴을 제공한다.
• 실험 결과, m* 방향으로만 분산을 추정하는 것이 고차원에서 전체 또는 대각 공분산 갱신보다 더 신뢰할 수 있고 정보가 풍부한 갱신을 제공하는 것으로 나타났다.