[논문 리뷰] Online Learning and Optimization of Markov Jump Affine Models

Sevi Baltaoglu, Lang Tong외 1명|arXiv (Cornell University)|2016. 05. 07.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 4

한 줄 요약

이 논문은 미지의 파rameter를 가진 마르코프 점프 아핀 모델에 대한 온라인 학습 및 최적화를 위해 마르코프 성질을 가진 동시 섭동 확률적 근사(MSPSA) 알고리즘을 제안한다. MSPSA는 제곱 손실 최소화 및 수익 극대화의 두 경우 모두에서 $√{T}$의 순서로 최적의 위험 성장률을 달성하며, 최적의 제어 입력으로 거의 확실히 및 제곱 평균에서 수렴한다.

ABSTRACT

The problem of online learning and optimization of unknown Markov jump affine models is considered. An online learning policy, referred to as Markovian simultaneous perturbations stochastic approximation (MSPSA), is proposed for two different optimization objectives: (i) the quadratic cost minimization of the regulation problem and (ii) the revenue (profit) maximization problem. It is shown that the regret of MSPSA grows at the order of the square root of the learning horizon. Furthermore, by the use of van Trees inequality, it is shown that the regret of any policy grows no slower than that of MSPSA, making MSPSA an order optimal learning policy. In addition, it is also shown that the MSPSA policy converges to the optimal control input almost surely as well as in the mean square sense. Simulation results are presented to illustrate the regret growth rate of MSPSA and to show that MSPSA can offer significant gain over the greedy certainty equivalent approach.

연구 동기 및 목표

• 시간에 따라 변하는 미지의 파라미터를 갖는 시스템에서 온라인 학습 및 제어의 과제를 다루기 위해.
• 탐색과 이용의 균형을 이루는 불확실성 하에서의 순차적 의사결정으로 문제를 공식화하기 위해.
• 제곱 손실 최소화 및 수익 극대화의 두 목표에 대해 마르코프 점프 아핀 모델의 위험 성장률에 대한 기본 한계를 설정하기 위해.
• 이론적 하한선과 일치하는 최소한의 위험 성장률을 달성하는 온라인 학습 정책을 개발하기 위해.
• 학습 정책이 최적의 제어 입력으로 거의 확실히 및 제곱 평균에서 수렴하는 조건을 확보하기 위해.

제안 방법

• 마르코프 점프 아핀 모델을 위한 새로운 온라인 학습 정책인 마르코프 성질을 가진 동시 섭동 확률적 근사(MSPSA) 알고리즘을 제안한다.
• 제어 입력에 대한 비용/보상 함수의 기울기를 효율적으로 추정하기 위해 동시 섭동을 사용하여 온라인 적응을 가능하게 한다.
• 노이즈가 있는 관측치를 기반으로 확률적 근사 이론을 적용하여 제어 입력을 갱신함으로써, 시간에 따라 변하는 시스템 동역학 하에서도 수렴을 보장한다.
• 위험 성장률의 하한선을 유도하기 위해 반-트리즈 부등식을 활용하여 MSPSA가 순서 최적 성능을 달성함을 증명한다.
• 비가역적인 시스템 행렬이 존재하더라도 일관된 추정과 수렴을 보장하기 위해 재매개변수화와 적응형 학습 규칙을 도입한다.
• 일阶 조건(Front-Order Conditions, FOC)과 은밀한 함수 정리(implicit function theorem)를 사용하여 최적의 제어 입력을 기본 마르코프 상태 및 시스템 파라미터의 함수로 특성화한다.

실험 결과

연구 질문

• RQ1 미지의 파라미터를 가진 마르코프 점프 아핀 모델에서 온라인 학습의 위험 성장률에 대한 기본 한계는 무엇인가?
• RQ2 제곱 손실 최소화 및 수익 극대화의 두 목표 모두에서 최소한의 위험 성장률을 달성하는 온라인 학습 정책을 설계할 수 있는가?
• RQ3 MSPSA 알고리즘이 제어 성능 측면에서 탐욕적 확실성 등가 접근법과 비교해 볼 때 위험 성장률과 수렴 특성에서 어떻게 다를 수 있는가?
• RQ4 학습 정책이 최적의 제어 입력으로 거의 확실히 및 제곱 평균에서 수렴하기 위한 조건는 무엇인가?
• RQ5 이러한 시간에 따라 변하는 확률적 시스템의 클래스에 대해 반-트리즈 부등식을 적용하여 비 渐近적 위험 하한선을 도출할 수 있는가?

주요 결과

• MSPSA 정책의 위험 성장률은 $\sqrt{T}$의 순서로 증가하며, 이는 반-트리즈 부등식을 통해 도출된 이론적 하한선과 정확히 일치한다.
• MSPSA 정책은 순서 최적이다. $√{T}$보다 느린 위험 성장률을 달성할 수 있는 다른 정책은 존재하지 않는다.
• MSPSA 알고리즘은 온건한 정규성 조건 하에서 최적의 제어 입력으로 거의 확실히 및 제곱 평균에서 수렴한다.
• 시뮬레이션 결과는 MSPSA가 초기 학습 단계에서 특히 두드러지게 낮은 위험 성장률을 달성함을 확인한다.
• 반-트리즈 부등식을 사용하여 도출된 위험 하한선은 MSPSA가 순서 최적성 외에도 시간 영역과 함께 최상의 스케일링 성능을 달성함을 확인한다.
• 시스템 행렬이 비가역적일 경우에도 이 방법은 효과적이며, 이는 이전의 적응 제어 결과를 더 넓은 범위의 모델 클래스로 확장한다.