[논문 리뷰] A basic introduction to large deviations: Theory, applications, simulations

Hugo Touchette|arXiv (Cornell University)|2011. 06. 21.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 45인용 수 47

한 줄 요약

이 논문은 통계역학, 확률과정 및 시뮬레이션 분야에서의 응용을 강조하면서, 대편차 이론에 대한 기초적인 소개를 제공한다. 비율 함수, 척도화된 누산형 생성함수, 그리고 Gärtner-Ellis 정리와 같은 핵심 개념을 제시하며, 마코프 체인과 확률미분방정식과 같은 시스템에서 희귀사건의 확률을 추정하기 위한 수치적 방법으로서 중요도 샘플링과 지수적 측도 변화를 소개한다.

ABSTRACT

The theory of large deviations deals with the probabilities of rare events (or fluctuations) that are exponentially small as a function of some parameter, e.g., the number of random components of a system, the time over which a stochastic system is observed, the amplitude of the noise perturbing a dynamical system or the temperature of a chemical reaction. The theory has applications in many different scientific fields, ranging from queuing theory to statistics and from finance to engineering. It is also increasingly used in statistical physics for studying both equilibrium and nonequilibrium systems. In this context, deep analogies can be made between familiar concepts of statistical physics, such as the entropy and the free energy, and concepts of large deviation theory having more technical names, such as the rate function and the scaled cumulant generating function. The first part of these notes introduces the basic elements of large deviation theory at a level appropriate for advanced undergraduate and graduate students in physics, engineering, chemistry, and mathematics. The focus there is on the simple but powerful ideas behind large deviation theory, stated in non-technical terms, and on the application of these ideas in simple stochastic processes, such as sums of independent and identically distributed random variables and Markov processes. Some physical applications of these processes are covered in exercises contained at the end of each section. In the second part, the problem of numerically evaluating large deviation probabilities is treated at a basic level. The fundamental idea of importance sampling is introduced there together with its sister idea, the exponential change of measure. Other numerical methods based on sample means and generating functions, with applications to Markov processes, are also covered.

연구 동기 및 목표

• 물리학, 공학, 수학 분야의 고등학생 및 대학원생들에게 대편차 이론에 대한 직관적이고 비기술적인 소개를 제공하기 위해.
• 엔트로피와 자유에너지와 같은 통계역학의 개념들을 대편차 이론의 대응 개념인 비율 함수와 척도화된 누산형 생성함수와 연결하기 위해.
• 대편차 확률을 추정하기 위한 수치적 방법을 소개하기 위해, 특히 중요도 샘플링과 지수적 측도 변화에 중점을 두고.
• 마코프 체인과 확률미분방정식을 포함한 확률과정에서의 실제 응용과 이론을 연결하는 실용적인 연습 문제를 제공하기 위해.
• 다양한 과학 분야에서 대편차 이론의 이론적 깊이와 계산적 유용성을 강조하여, 더 깊은 학습을 유도하기 위해.

제안 방법

• 대편차 이론의 핵심 개념을 설명하기 위해 단순하고 비기술적인 언어를 사용하며, 동일하게 분포된 확률변수의 합과 마코프 과정에 초점을 맞춘다.
• 확률밀도함수가 존재한다고 가정할 때, 척도화된 누산형 생성함수(이하 SCGF)로부터 비율 함수를 도출하기 위해 Gärtner-Ellis 정리를 적용한다.
• 희귀사건의 시뮬레이션을 효율적으로 수행하기 위한 중심 기법으로 중요도 샘플링과 지수적 측도 변화를 소개한다.
• 기울인 확률분포에서 샘플을 추출하기 위해 메트로폴리스-하스팅스 알고리즘을 활용하여 대편차 확률의 수치적 평가를 가능하게 한다.
• 모의 궤적에서 비율 함수를 추정하기 위한 표본 평균 방법과 경험적 생성함수 방법을 제안한다.
• 기울인 생성자(generator)의 최대 고유값과 경로 대편차 원리 사이의 연결을 통해, 고유값 해법기를 활용한 수치 계산이 가능해진다.

실험 결과

연구 질문

• RQ1 희귀 변동의 확률은 대편차 이론을 통해 어떻게 정량화할 수 있는가?
• RQ2 엔트로피와 자유에너지와 같은 통계역학의 개념과 비율 함수 및 SCGF와 같은 대편차 이론의 대응 개념 사이의 관계는 무엇인가?
• RQ3 중요도 샘플링과 지수적 측도 변화와 같은 수치적 방법을 어떻게 활용하여 대편차 확률을 효율적으로 추정할 수 있는가?
• RQ4 희귀 변동을 일으키는 확률과정에서의 최적 경로는 무엇이며, 어떻게 계산할 수 있는가?
• RQ5 표본 평균 및 경험적 SCGF 방법과 같은 수치적 방법은 유계 및 무한한 확률변수에 대해 어떻게 수렴하는가?

주요 결과

• 동일하게 분포된 확률변수의 합에 대한 비율 함수는 Gärtner-Ellis 정리를 통해 도출될 수 있으며, 이때 SCGF는 비율 함수의 레전드르-펜켈 변환으로 기능한다.
• 마코프 체인과 연속시간 과정의 경우, 경로 대편차 원리는 기울인 생성자의 최대 고유값과 연결되며, 이는 고유값 해법기를 통해 수치 계산이 가능하다.
• 지수적 측도 변화를 동반한 중요도 샘플링은 희귀 변동에 대한 시뮬레이션 효율성을 크게 향상시킨다.
• 경험적 SCGF 방법은 유계 확률변수(예: 베르누이 분포)의 경우 빠르게 수렴하지만, 무한한 변수(예: 지수분포)의 경우 수렴 속도가 느려진다.
• 보존계에서 희귀 변동을 일으키는 최적 경로는 소음이 없는 붕괴 역학의 시간 역전된 형태이며, 이는 대편차의 기하학적 해석을 제공한다.
• 랑주아인 역학에 따른 가산 과정의 경우, 변동 $ S_T = s $ 로 향하는 최적 경로는 일정 경로 $ x(t) = s $ 와 일치하며, 이는 강화된 SDE의 점근적 해와 일致한다.