[論文レビュー] Lecture Notes on Stochastic Processes

Alexander Gasnikov, Eduard Gorbunov+4 more|arXiv (Cornell University)|Jun 23, 2019

Advanced Bandit Algorithms Research参考文献 30被引用数 12

ひとこと要約

この教科書は、ウィENER過程やポアソン過程、伊藤積分、マーカフ連鎖（離散および連続時間）、ガウス過程、定常過程、エルゴード理論といった基礎的トピックをカバーする包括的でアクセスしやすい確率過程の入門書です。大学院生および上級学部生を対象としており、MIPTで長年にわたり実施されてきた講義のノート、演習問題、実世界の応用例（例えばGoogle PageRank問題やマルチアームバンディット問題）を通じて、理論的厳密性と実践的応用を統合しています。

ABSTRACT

This is lecture notes on the course "Stochastic Processes". In this format, the course was taught in the spring semesters 2017 and 2018 for third-year bachelor students of the Department of Control and Applied Mathematics, School of Applied Mathematics and Informatics at Moscow Institute of Physics and Technology. The base of this course was formed and taught for decades by professors from the Department of Mathematical Foundations of Control A.A. Natan, S.A. Guz, and O.G. Gorbachev. Besides standard chapters of stochastic processes theory (correlation theory, Markov processes) in this book (and lectures) the following chapters are included: von Neumann-Birkhoff-Khinchin ergodic theorem, macrosystem equilibrium concept, Markov Chain Monte Carlo, Markov decision processes and the secretary problem.

研究の動機と目的

• 応用数学、工学、データサイエンスの分野の学生に対して、構造的でアクセスしやすい確率過程の入門を提供すること。
• MIPTで長年にわたり実施されてきた講義のノートとセミナー資料を活用して、理論的概念と実践的応用を橋渡しすること。
• ブラウン運動、ポアソン過程、マーカフ連鎖といった主要な確率過程を、初歩的ではあるが厳密な数学的言語で提示すること。
• 強化学習、MCMC、ネットワーク解析（例：PageRank）といった現代の応用を、カリキュラムの核に統合すること。
• 完全な演習問題、証明、および図解付きの例題を提供することで、自己学習および授業指導を支援すること。

提案手法

• MIPT制御の数学的基盤部門で数十年にわたる教育経験に基づいた教育的構造を活用する。
• 確率空間、モーメント、分布的性質といった基礎的概念を通じて確率過程を導入する。
• L2収束、確率的積分、および伊藤の公式を用いて伊藤積分を展開し、拡散過程の解析を可能にする。
• スペクトル理論と自己相関関数を用いて定常過程を研究し、大数の法則を導出する。
• 離散時間および連続時間のマーカフ連鎖の理論を用いて、記憶のない確率的時間発展をモデル化し、エルゴード性を分析する。
• 拡散過程のためのダイニキンの公式、生成作用素、およびフォッカー・プランク方程式といった高度なトピックを統合する。

実験結果

リサーチクエスチョン

• RQ1 測度論的背景がほとんどない学生に対して、確率過程を体系的にどのように導入できるか？
• RQ2 拡散過程、ジャンプ過程、マーカフ連鎖を解析するために必要な主な理論的および計算的ツールは何か？
• RQ3 スペクトル表現と自己相関関数は、定常確率過程をどのように特徴づけるか？
• RQ4 マーカフ連鎖におけるエルゴード性を保証する条件は何か？ そして、それらは現実のシステムにどのように応用できるか？
• RQ5 確率的微分方程式が物理学、ファイナンス、機械学習で生じるのをモデル化・解明するために、確率的微分積分と伊藤積分はどのように利用できるか？

主な発見

• この教科書は、MIPTの学生に限らず、広い対象層に適した、初歩的ではあるが厳密な言語で高度な確率過程を効果的に提示している。
• 伊藤の公式および確率的積分の導出は、L2収束と平均二乗連続性に基づいており、数学的厳密性を保証している。
• 広義定常過程のスペクトル表現が確立され、そのような過程における大数の法則が導出された。
• マーカフ連鎖のエルゴード定理が導出され、PageRankアルゴリズムやMCMC手法への応用が示された。
• 連続時間マーカフ過程の理論は、コルモゴロフ方程式および生成作用素を用いて展開され、通過時間や再帰性の解析が可能になった。
• 強化学習（例：Q学習、ギッティンズ指数）の理論が、最適停止問題および動的計画法と正式に結びつけられた。