[논문 리뷰] Lecture Notes on Stochastic Processes

Alexander Gasnikov, Eduard Gorbunov외 4명|arXiv (Cornell University)|2019. 06. 23.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 12

한 줄 요약

이 교재는 위너 및 포아송 과정, 이토 미적분, 마르코프 체인(이산 및 연속형), 가우시안 과정, 정적 과정, 그리고 에르고딕 이론과 같은 기초 주제를 포함하여 확률적 과정에 대한 종합적이고 접근하기 쉬운 소개를 제공한다. 대학원생 및 고급 학부생을 대상으로 하며, 기초 이론과 실용적 응용을 강의 노트, 연습 문제, 그리고 실세계 예시(예: 구글 페이지랭크 문제 및 멀티어머드 밴딧 문제)를 통해 통합하고 있다.

ABSTRACT

This is lecture notes on the course "Stochastic Processes". In this format, the course was taught in the spring semesters 2017 and 2018 for third-year bachelor students of the Department of Control and Applied Mathematics, School of Applied Mathematics and Informatics at Moscow Institute of Physics and Technology. The base of this course was formed and taught for decades by professors from the Department of Mathematical Foundations of Control A.A. Natan, S.A. Guz, and O.G. Gorbachev. Besides standard chapters of stochastic processes theory (correlation theory, Markov processes) in this book (and lectures) the following chapters are included: von Neumann-Birkhoff-Khinchin ergodic theorem, macrosystem equilibrium concept, Markov Chain Monte Carlo, Markov decision processes and the secretary problem.

연구 동기 및 목표

• 응용수학, 공학, 데이터 과학 분야의 학생들에게 체계적이고 접근하기 쉬운 확률적 과정 소개를 제공하는 것.
• 모든 과정에서 오랫동안 운영된 MIPT의 강의 노트와 세미나 자료를 활용하여 이론적 개념과 실용적 응용을 연결하는 것.
• 브라운 운동, 포아송 과정, 마르코프 체인과 같은 핵심 확률적 과정을 간단하면서도 엄밀한 수학적 언어로 제시하는 것.
• 강화학습, MCMC, 네트워크 분석(예: 페이지랭크)과 같은 현대적 응용을 핵심 교과과정에 통합하는 것.
• 완전한 연습 문제, 증명, 그리고 도식적 예시를 통해 자율 학습과 수업 교육을 지원하는 것.

제안 방법

• MIPT의 제어 수학적 기초 과정에서 수십 년간 축적된 교육 경험에 기반한 교육적 체계를 활용한다.
• 확률 공간, 모멘트, 분포적 성질과 같은 기초 개념을 통해 확률적 과정을 도입한다.
• L2 수렴, 확률적 적분, 이토 공식을 통해 이토 미적분을 발전시켜 확산 과정 분석을 가능하게 한다.
• 스펙트럼 이론과 상관 함수를 활용하여 정적 과정을 연구하고 대수의 법칙을 유도한다.
• 이산 및 연속 시간 마르코프 체인 이론을 사용하여 기억이 없는 랜덤 진화를 모델링하고 에르고딕성을 분석한다.
• 확산 과정에 대해 다이نك 형식, 생성자 연산자, 그리고 폭커-플랑크 방정식과 같은 고급 주제를 통합한다.

실험 결과

연구 질문

• RQ1 측도 이론 배경이 거의 없는 학생들에게 어떻게 체계적으로 확률적 과정을 소개할 수 있는가?
• RQ2 확산, 점프, 마르코프 과정을 분석하기 위해 필요한 핵심 이론적 및 계산 도구는 무엇인가?
• RQ3 스펙트럼 표현과 상관 함수는 어떻게 정적 확률적 과정을 특징짓는가?
• RQ4 마르코프 체인에서 에르고딕성을 보장하는 조건은 무엇이며, 이를 실제 시스템에 어떻게 적용할 수 있는가?
• RQ5 확률적 미적분과 이토 적분은 물리학, 금융, 기계학습에서 발생하는 SDE를 모델링하고 해결하는 데 어떻게 활용될 수 있는가?

주요 결과

• 이 교재는 MIPT 학생들 외의 광범위한 청중이 접근 가능한 간단한 언어로 고급 확률적 과정을 성공적으로 제시하고 있다.
• 이토 공식과 확률적 적분의 유도는 L2 수렴과 평균제곱 연속성에 기반하여 수학적 엄밀성을 확보하고 있다.
• 광의의 정적 과정에 대한 스펙트럼 표현이 확립되어, 이러한 과정에 대한 대수의 법칙이 도출된다.
• 마르코프 체인에 대한 에르고딕 정리가 도출되었으며, 페이지랭크 알고리즘과 MCMC 방법에의 응용이 포함되어 있다.
• 연속 시간 마르코프 과정 이론은 콜모고로프 방정식과 생성자 연산자를 통해 발전되었으며, 첫 번째 통과 시간과 재귀성 분석이 가능해졌다.
• 강화학습(예: Q-학습, 깁스 인덱스)의 응용이 최적 정지와 동적 프로그래밍에 공식적으로 연결되어 있다.