[논문 리뷰] Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|2024. 02. 27.

Simulation Techniques and Applications인용 수 4

한 줄 요약

이 논문은 최소 제곱 시간 차분(LSTD)을 통한 가치 함수 추정과 정책 그래เดียน트 최적화를 조합하여 시간 연속 스토케스틱 최적 제어 문제를 해결하기 위한 액터-크리틱 플로우 알고리즘을 제안한다. 연속 그래디언트 플로우에 대해 전역 선형 수렴성을 확립하였으며, 기준 문제에서 수치적으로 검증되었다.

ABSTRACT

We propose an actor-critic framework to solve the time-continuous stochastic optimal control problem. A least square temporal difference method is applied to compute the value function for the critic. The policy gradient method is implemented as policy improvement for the actor. Our key contribution lies in establishing a linear rate of convergence for our proposed actor-critic flow. Theoretical findings are further validated through numerical examples, showing the efficacy of our approach in practical applications.

연구 동기 및 목표

• 정규화 없이 결정론적 피드백 제어를 갖는 시간 연속 스토케스틱 최적 제어 문제를 해결하는 데 도전하는 것.
• 강화학습과 최적 제어 이론을 연결하는 기계학습 기반 프레임워크를 개발하는 것.
• 연속 시간 극한에서 제안된 알고리즘에 대한 이론적 수렴 보장을 확보하는 것.
• 이토의 미분법에서 유도된 최소 제곱 시간 차분(LSTD)을 활용한 크리틱 구성 요소를 설계하여 기존 RL TD 방법보다 오차를 감소시키는 것.
• 약한 가정 하에 액터-크리틱 플로우의 전역 선형 수렴을 달성하여 실용적 적용을 위한 강력한 이론적 기반을 마련하는 것.

제안 방법

• 해밀턴-지옠히-벨리만(HJB) 방정식을 기반으로 한 편미분방정식(PDE) 프레임워크를 사용해 스토케스틱 최적 제어 문제를 수립한다.
• 이토의 보조정리에서 유도된 최소 제곱 시간 차분(LSTD) 추정 기반의 크리틱 구성 요소를 구현하여 기존의 순수 TD 방법보다 정확도를 향상시킨다.
• 정책 개선을 위한 명시적 그래디언트 표현을 갖는 정책 그래디언트 방법을 통해 액터 업데이트를 설계한다.
• 알고리즘을 연속 극한에서 분석하여 액터-크리틱 플로우를 연속 시간 동적 시스템으로 유도한다.
• 리아푸노프 유형의 추론을 사용해 전역 수렴성을 확립하며, 표준 정규성 및 유계성 가정 하에 선형 수렴 속도를 증명한다.
• 상태, 제어 및 가치 함수 도함수의 유계성에 기반해 박스 통합을 통한 모순 기반 수렴 증명을 유도한다.

실험 결과

연구 질문

• RQ1 정책이 결정론적일 때, 액터-크리틱 프레임워크를 시간 연속 스토케스틱 최적 제어 문제로 엄밀하게 확장할 수 있는가?
• RQ2 제안된 LSTD 기반 크리틱은 이 연속적 설정에서 표준 시간 차분 방법보다 더 나은 수렴성과 낮은 오차를 제공하는가?
• RQ3 연속 그래디언트 극한에서 액터-크리틱 플로우의 수렴 속도는 무엇이며, 전역 수렴을 보장할 수 있는가?
• RQ4 명시적 그래디언트 표현을 갖는 정책 그래디언트 방법은 순수 그래디언트 디센트보다 수렴 행동에서 어떻게 다른가?
• RQ5 이론적 수렴 결과는 비트레이비어스한 스토케스틱 제어 문제에서 수치적으로 검증될 수 있는가?

주요 결과

• 제안된 액터-크리틱 플로우는 연속 그래디언트 플로우에서 전역 선형 수렴성을 달성하였으며, 이는 유사한 RL 기반 최적 제어 방법에서 흔히 확립되지 않은 강력한 이론적 보장이다.
• 이토의 미분법에서 유도된 LSTD 기반 크리틱은 스토케스틱 제어 맥락에서 기존 표준 TD 방법보다 추정 오차를 감소시킨다.
• 명시적 그래디언트 표현을 갖는 정책 그래디언트 방법은 순수 그래디언트 디센트보다 수렴 안정성과 속도에서 뛰어나다.
• 수렴 증명은 상태, 제어 및 가치 함수 도함수의 유계성에 기반한 박스 통합을 통한 모순 기반 접근에 의존한다.
• 수치적 예제는 이론적 결과를 검증하며, 알고리즘이 실용적 응용에서의 효능을 보여준다.
• 수렴 속도는 선형이며, 이 증명은 드리프트 및 디퓨전 계수의 리프시츠 연속성과 유계성과 같은 표준 가정 하에 성립한다.