[논문 리뷰] The Pontryagin maximum principle and $Q$-functions in rough environments

Estepan Ashkarian, Prakash Chakraborty외 2명|arXiv (Cornell University)|2026. 01. 08.

Stability and Controllability of Differential Equations인용 수 0

한 줄 요약

이 논문은 노이즈가 있는 러프 미분방정식의 완화된 제어(relaxed control)에 대해 Pontryagin 최대 원칙과 미분적 Q/q-함수를 유도하고, 엔트로피 비용 하에서 정책 개선을 가능하게 하는 스파이크 변동 섭동을 사용한다.

ABSTRACT

We derive the Pontryagin maximum principle and $Q$-functions for the relaxed control of noisy rough differential equations. Our main tool is the development of a novel differentiation procedure along `spike variation' perturbations of the optimal state-control pair. We then exploit our development of the infinitesimal $Q$-function (also known as the $q$-function) to derive a policy improvement algorithm for settings with entropic cost constraints.

연구 동기 및 목표

• 러프 패스에 의해 포착되는 일반적으로 노이즈가 많고 비마르코프인 환경에서 강화학습의 필요성과 동기를 제시한다.
• 러프 미분방정식에서 완화된 제어에 대한 Pontryagin 최대 원칙을 개발한다.
• 연속 시간에서 PMP를 Q-학습과 연결하기 위해 미분적 Q-함수(q-function)를 정의하고 활용한다.
• 개방-루프와 폐쇄-루프 설정에서 엔트로피 정규화된 정책 개선과 Gibbs 형태의 정책을 제안한다.

제안 방법

• 상태 동역학을 완화된 제어와 거친 노이즈를 갖는 러프 미분방정식으로 모델링한다.
• 러프 설정에서 PMP를 도출하기 위한 스파이크 변동 섭동 프레임워크를 도입하고 구현한다.
• 연속 시간에서 PMP와 Q-학습 개념을 연결하기 위해 미분적 q-함수를 정의하고 분석한다.
• 거친 입력하에서 가치 함수와 HJB형 방정식에 대한 러프 점도(Viscosity) 프레임워크를 확립한다.
• 엔트로피 항을 포함한 개방 루프 Gibbs 형태의 정책을 도출하고 러프 흐름 변환을 통한 정책 개선을 고안한다.
• 정책 개선에 대한 계산적 관점을 제공하고 러프 동역학에서 점도/최적성 원칙을 논의한다.

실험 결과

연구 질문

• RQ1 러프 미분방정식에서 완화된 제어에 대해 Pontryagin 최대 원칙을 어떻게 형식화할 수 있는가?
• RQ2 러프 환경에서 Q-함수의 적절한 미분적 아날로그(q-function)는 무엇이며, 어떻게 도출될 수 있는가?
• RQ3 연속 시간, 노이즈가 많은 비마르코프 환경에서 엔트로피 정규화가 최적 정책에 어떤 영향을 미치는가?
• RQ4 거친 경로에 의해 구동되고 제어 공간이 확률적(완화된)일 때 정책 개선을 정당화하고 구현할 수 있는가?

주요 결과

• 새로운 스파이크 변동 미분 방법을 이용하여 러프 미분방정식의 완화된 제어에 대한 Pontryagin 최대 원칙을 도출했다.
• 미분적 q-함수가 구성되어 러프 설정에서 PMP를 해밀토니안 유사 객체와 연결하는 것으로 보였다.
• 엔트로피 항은 Gibbs 형태의 최적 개방 루프 정책으로 이어지며 q-함수를 명시적 정책 표현과 연결한다.
• 개방 루프와 폐쇄 루프 설정 모두에서 정책 개선을 러프 흐름을 따라의 변환을 통해 분석하고 러프 점도 HJB 프레임워크를 가능하게 한다.
• 이 프레임워크는 가우시안 프로세스와 분수 브라운 운동을 자연스러운 응용으로 포괄하여 넓은 적용 가능성을 보여준다.
• 이 연구는 러프하고 비마르코프한 환경에서의 수치해석 및 강화학습을 위한 기초 도구에 기여한다.