[論文レビュー] A basic introduction to large deviations: Theory, applications, simulations

Hugo Touchette|arXiv (Cornell University)|Jun 21, 2011

Advanced Thermodynamics and Statistical Mechanics参考文献 45被引用数 47

ひとこと要約

この論文は、統計物理学、確率過程、シミュレーションにおける応用を強調しながら、大偏差理論の基礎的導入を提供する。主な概念として、レート関数、スケーリングされた積モーメント生成関数、および Gärtner-Ellis 定理を提示する。また、マルコフ連鎖や確率微分方程式のようなシステムにおける稀な事象の確率を推定するための数値的手法として、重要度サンプリングと指数的測度変換を紹介する。

ABSTRACT

The theory of large deviations deals with the probabilities of rare events (or fluctuations) that are exponentially small as a function of some parameter, e.g., the number of random components of a system, the time over which a stochastic system is observed, the amplitude of the noise perturbing a dynamical system or the temperature of a chemical reaction. The theory has applications in many different scientific fields, ranging from queuing theory to statistics and from finance to engineering. It is also increasingly used in statistical physics for studying both equilibrium and nonequilibrium systems. In this context, deep analogies can be made between familiar concepts of statistical physics, such as the entropy and the free energy, and concepts of large deviation theory having more technical names, such as the rate function and the scaled cumulant generating function. The first part of these notes introduces the basic elements of large deviation theory at a level appropriate for advanced undergraduate and graduate students in physics, engineering, chemistry, and mathematics. The focus there is on the simple but powerful ideas behind large deviation theory, stated in non-technical terms, and on the application of these ideas in simple stochastic processes, such as sums of independent and identically distributed random variables and Markov processes. Some physical applications of these processes are covered in exercises contained at the end of each section. In the second part, the problem of numerically evaluating large deviation probabilities is treated at a basic level. The fundamental idea of importance sampling is introduced there together with its sister idea, the exponential change of measure. Other numerical methods based on sample means and generating functions, with applications to Markov processes, are also covered.

研究の動機と目的

• 物理学、工学、数学の上級学部および大学院生に、直感的で技術的でない方法で大偏差理論の基礎を提供すること。
• エントロピーと自由エネルギーといった統計力学の概念と、レート関数やスケーリングされた積モーメント生成関数といった大偏差理論の類似概念との橋渡しをすること。
• 大偏差確率を推定するための数値的手法を紹介することに焦点を当て、重要度サンプリングと指数的測度変換を含む。
• マルコフ連鎖や確率微分方程式を含む確率過程における理論と実世界の応用を結びつける実践的な演習を提供すること。
• さまざまな科学分野における大偏差理論の理論的深さと計算的有用性を強調することで、さらなる研究を促すこと。

提案手法

• 独立同分布の確率変数の和とマルコフ過程に焦点を当て、大偏差理論の核心的アイデアを、単純で技術的でない言語で説明する。
• 確率密度の存在を仮定して、スケーリングされた積モーメント生成関数（SCGF）からレート関数を導出するために Gärtner-Ellis 定理を適用する。
• 稀な事象のシミュレーションを効率的に行うための中心的技術として、重要度サンプリングと指数的測度変換を導入する。
• 傾きを付けた確率分布からのサンプリングに Metropolis-Hastings アルゴリズムを用い、大偏差確率の数値的評価を可能にする。
• シミュレートされた軌道からレート関数を推定するためのサンプル平均法と経験的生成関数法を提案する。
• 経路の大偏差原理が、傾きを付けた生成子の最大固有値と関連することを示し、固有値ソルバーによる数値計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的システムにおける稀な揺らぎの確率は、どのように大偏差理論を用いて定量化できるか？
• RQ2 統計力学の概念（エントロピー、自由エネルギー）と、大偏差理論の類似概念（レート関数、SCGF）との関係は何か？
• RQ3 重要度サンプリングや指数的測度変換といった数値的手法は、どのようにして大偏差確率を効率的に推定できるか？
• RQ4 稀な揺らぎを引き起こす確率過程における最適パスは何か。また、それらはどのように計算できるか？
• RQ5 サンプル平均法や経験的 SCGF 法といった数値的手法は、有界および無限大の確率変数に対してどのように収束するか？

主な発見

• 独立同分布の確率変数の和のレート関数は、Gärtner-Ellis 定理を用いて導出可能であり、SCGF はレート関数の Legendre-Fenchel 変換として表される。
• マルコフ連鎖や連続時間過程では、経路の大偏差原理が、傾きを付けた生成子の最大固有値と関連し、固有値ソルバーによる数値計算が可能になる。
• 指数的測度変換を用いた重要度サンプリングは、稀な揺らぎの方向にサンプリングをバイアスすることで、稀な事象のシミュレーションの効率を著しく向上させる。
• 経験的 SCGF 法は、ベルヌーイ分布のような有界な確率変数に対しては速やかに収束するが、指数分布のような無限大の確率変数に対しては収束が遅くなる。
• 保存的系における稀な揺らぎの最適パスは、ノイズのない崩壊ダイナミクスの時間反転版であり、大偏差の幾何的解釈を提供する。
• ランジュバンダイナミクス下での加法的過程では、揺らぎ $ S_T = s $ への最適パスは定数パス $ x(t) = s $ であり、補強された SDE の漸近的解と整合的である。