[논문 리뷰] Duality between density function and value function with applications in constrained optimal control and Markov Decision Process

Yuxiao Chen, Aaron D. Ames|arXiv (Cornell University)|2019. 02. 25.

Traffic control and management참고 문헌 21인용 수 7

한 줄 요약

이 논문은 최적 제어 및 마코프 결정 과정(MDP)에서 가치 함수와 밀도 함수 사이의 이중성(duality)을 수립하며, 안전성 및 용량 제약과 같은 제약 최적 제어 문제를 밀도 함수에 대한 최적화로 재정의할 수 있도록 한다. 표준 HJB PDE를 가치 함수에 대해 푸는 것과 Liouville 방정식을 통해 밀도를 진화시키는 것을 번갈아가며 수행하는 원시-이중 알고리즘을 활용함으로써, 최적성을 유지하면서도 제약 조건을 효율적으로 이행할 수 있으며, 이는 로봇 주행, 교통 제어, 외란이 존재하는 실험적 세그웨이 제어에서 성공적으로 검증되었다.

ABSTRACT

Density function describes the density of states in the state space of a dynamic system or a Markov Decision Process (MDP). Its evolution follows the Liouville equation. We show that the density function is the dual of the value function in the optimal control problems. By utilizing the duality, constraints that are hard to enforce in the primal value function optimization such as safety constraints in robot navigation, traffic capacity constraints in traffic flow control can be posed on the density function, and the constrained optimal control problem can be solved with a primal-dual algorithm that alternates between the primal and dual optimization. The primal optimization follows the standard optimal control algorithm with a perturbation term generated by the density constraint, and the dual problem solves the Liouville equation to get the density function under a fixed control strategy and updates the perturbation term. Moreover, the proposed method can be extended to the case with exogenous disturbance, and guarantee robust safety under the worst-case disturbance. We apply the proposed method to three examples, a robot navigation problem and a traffic control problem in sim, and a segway control problem with experiment.

연구 동기 및 목표

• 최적 제어 및 MDP에서 가치 함수와 밀도 함수 사이의 이론적 이중성을 수립하기 위해.
• 직접적으로 원시 가치 함수 설정에서 이행하기 어려운 제약 최적 제어 문제(예: 안전성 및 용량 제약)를 해결하기 위해.
• 제약 조건 하에서 가치 함수 최적화(HJB PDE)와 밀도 함수 진화(Liouville 방정식)를 번갈아가며 수행하는 원시-이중 알고리즘을 개발하기 위해.
• 외부 외란이 존재하는 시스템과 다중 상호연결된 MDP에 이 프레임워크를 확장하기 위해.
• 로봇 주행, 교통 제어, 세그웨이 안정화에서의 시뮬레이션 및 실험 결과를 통해 접근법을 검증하기 위해.

제안 방법

• 연속 시간 시스템과 이산 MDP 모두에서 밀도 함수가 가치 함수의 이중(dual)임을 수립하는 이중성 프레임워크를 제안한다.
• 고정된 제어 정책 하에서 시간에 따라 전진적으로 Liouville 방정식을 풀어 밀도 함수를 계산하기 위한 ODE 기반 방법을 사용한다.
• 원시-이중 알고리즘을 도입: 원시 단계는 밀도 제약에서 유도된 교정 항이 포함된 HJB PDE를 풀며, 이중 단계는 Liouville 방정식을 통해 밀도를 진화시킨다.
• 현재 밀도 기반으로 교정 항을 업데이트하기 위한 고정점 반복을 구현하여 제약 조건 이행을 보장한다.
• 최악의 외란을 Liouville 방정식의 밀도 진화에 통합함으로써 강건 제어로 확장하여 강건한 안전성 확보.
• 시뮬레이터만 제공되는 경우 커널 밀도 추정을 적용하여 밀도 함수를 근사화함으로써 강화 학습과의 통합 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 연속 최적 제어와 이산 MDP 모두에서 밀도 함수가 가치 함수의 공식적 이중으로서 정의될 수 있는가?
• RQ2 안전성 및 교통 용량과 같은 제약 조건들이 밀도 함수에 대한 최적화를 통해 자연스럽게 이행될 수 있는가?
• RQ3 제약 조건을 충족시키기 위해 가치 함수 최적화와 밀도 함수 진화를 번갈아가며 수행하는 원시-이중 알고리즘을 설계할 수 있는가?
• RQ4 외부 외란이 존재할 경우 이 방법의 성능은 어떠한가? 그리고 강건한 안전성을 보장할 수 있는가?
• RQ5 이 프레임워크는 다중 상호연결된 MDP로 확장 가능하며, 강화 학습과 통합될 수 있는가?

주요 결과

• 연속 시스템과 MDP 모두에서 밀도 함수가 가치 함수의 이중으로서 입증되었으며, 이중성은 Liouville 방정식과 HJB 방정식에 뿌리를 두고 있다.
• 제안된 원시-이중 알고리즘이 성공적으로 밀도 제약을 이행하였으며, 예를 들어 영역 7의 교통 밀도 제약을 충족시키는 경우 제약 조건이 있는 해의 비용은 79.21이며, 제약 조건이 없는 경우는 71.05로, 더 나은 제약 이행을 확인하였다.
• 제약 조건이 있는 MDP의 경우 최적 정책이 확률적으로 변하며, 협소한 영역의 밀도가 정확히 허용 가능한 최대값에 도달함으로써 제약 조건 이행이 확인되었다.
• 외란 역학을 Liouville 방정식의 밀도 진화에 통합함으로써 최악의 외란 상황에서도 강건한 안전성을 확보할 수 있었다.
• 프레임워크는 세그웨이 시스템에서 실험적으로 검증되었으며, 제어 제약 조건 하에서도 실제 적용 가능성과 안정성을 입증하였다.
• 커널 밀도 추정을 통해 강화 학습으로의 확장이 가능하여, 시뮬레이션 기반 학습에서 밀도 기반의 안전 제약 조건을 통합할 수 있었다.