[논문 리뷰] Robust Sensitivity Analysis for Stochastic Systems

Henry Lam|arXiv (Cornell University)|2013. 03. 02.

Probabilistic and Robust Engineering Design참고 문헌 58인용 수 9

한 줄 요약

이 논문은 모형 오특사용에 대한 점근적 민감도 분석 프레임워크를 개발하며, Kullback-Leibler (KL) 발산을 사용하여 불확실성을 정량화한다. 기준 모형 주위에서 최악의 성능 측정치의 무한소 전개를 유도하며, 계수들은 시뮬레이션을 통해 계산 가능하여, i.i.d. 입력을 가진 복잡한 시스템에 대한 접근 가능한 비모수적 민감도 분석을 가능하게 한다.

ABSTRACT

We study a worst-case approach to measure the sensitivity to model misspecification in the performance analysis of stochastic systems. The situation of interest is when only minimal parametric information is available on the form of the true model. Under this setting, we post optimization programs that compute the worst-case performance measures, subject to constraints on the amount of model misspecification measured by Kullback-Leibler (KL) divergence. Our main contribution is the development of infinitesimal approximations for these programs, resulting in asymptotic expansions of their optimal values in terms of the divergence. The coefficients of these expansions can be computed via simulation, and are mathematically derived from the representation of the worst-case models as changes of measure that satisfy a well-defined class of functional fixed point equations.

연구 동기 및 목표

• 기본 모형만 제공되고 진짜 모형이 알려져 있지 않은 상황에서 성능의 강건성을 평가하는 데 도전하는 것.
• i.i.d. 입력을 가진 스토케스틱 시스템에서 비모수적 민감도 분석을 위한 접근 가능한 프레임워크를 개발하는 것.
• 최적화가 비볼록이거나 무한차원일지라도, KL 발산 제약 조건 하에서 최악의 성능 측정치를 계산하는 것.
• 모형 불확실성(즉, KL 발산)이 0으로 수렴함에 따라 최악의 성능의 점근적 전개를 도출하는 것.
• 모형 오특사용의 영향을 정량화하는 민감도 계수를 시뮬레이션 기반으로 계산할 수 있도록 하는 것.

제안 방법

• 기본 측도 $P_0$ 에서의 모형 편차를 제약 조건으로 하여 최악의 성능 최적화를 설정한다.
• 무한소 분석을 적용하여 최악의 성능 최적값을 $\sqrt{\eta}$ 의 멱급수로 전개한다. 여기서 $\eta$ 는 KL 발산의 상한이다.
• 최악의 모형 하에서 함수적 고정점 방정식을 만족하는 측도 변화를 통해 전개의 계수를 도출한다.
• Donsker-Varadhan 변분 원리와 라그랑주 이완을 사용하여 최악의 모형을 함수 방정식으로 특성화한다.
• 정지 시간 논증과 수렴 결과를 사용하여 $\eta \to 0$ 일 때 최악의 우도 비율의 극한 행동을 정당화한다.
• 전개 계수들이 기본 측도 $P_0$ 하에서 시뮬레이션을 통해 계산 가능하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 진짜 모형이 오특사용되고 있는 상황에서, 기준 모형만 알려져 있을 때 최악의 성능를 어떻게 정량화할 수 있는가?
• RQ2 모형 불확실성(즉, KL 발산으로 측정됨)이 0으로 수렴함에 따라 최악의 성능의 점근적 행동은 어떻게 되는가?
• RQ3 불확실성 수준에 대한 급수 전개를 통해 모형 오특사용에 의한 성능 측정치의 민감도를 근사화할 수 있는가?
• RQ4 그러한 전개의 계수들은 기준 모형 하에서 시뮬레이션을 통해 계산 가능한가?
• RQ5 비볼록이고 무한차원적인 최악의 최적화 문제를 스토케스틱 시스템에서 어떻게 다룰 수 있는가?

주요 결과

• 최악의 성능 측정치의 최적값은 $\sqrt{\eta}$ 의 멱의 점근적 전개를 갖는다. 여기서 $\eta$ 는 KL 발산 상한이다.
• 전개에서 첫 번째 계수 $\zeta_1(P_0, h)$ 는 모형 오특사용에 대한 성능의 주요 민감도를 캡처한다.
• 계수 $\zeta_1, \zeta_2, \dots$ 는 비용 함수 $h$ 와 기본 측도 $P_0$ 에 대해 명시적으로 표현 가능하다.
• 이 계수들은 기본 측도 $P_0$ 하에서 몬테카를로 시뮬레이션을 통해 계산 가능하여 실용적 구현을 가능하게 한다.
• 최악의 모형은 비용 함수와 우도 비율을 포함하는 함수적 고정점 방정식의 해로 정의되는 측도 변화에 해당한다.
• 정지 시간 논증과 모멘트 유계를 사용하여 최악의 우도 비율과 그 엔트로피 항의 수렴을 엄밀히 확립한다.