[논문 리뷰] Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies

Bin Hu, Kaiqing Zhang외 4명|arXiv (Cornell University)|2022. 10. 10.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 LQR, H∞ 및 LQG 제어와 같은 핵심 제어 문제를 분석함으로써, 학습 제어 정책에 대한 정책 최적화(PO)의 이론적 기반을 수립한다. 특정 구조 조건 하에서 전역 수렴성과 샘플 효율성을 입증하며, 제어 이론, 강화 학습 및 대규모 최적화를 연결한다.

ABSTRACT

Gradient-based methods have been widely used for system design and optimization in diverse application domains. Recently, there has been a renewed interest in studying theoretical properties of these methods in the context of control and reinforcement learning. This article surveys some of the recent developments on policy optimization, a gradient-based iterative approach for feedback control synthesis, popularized by successes of reinforcement learning. We take an interdisciplinary perspective in our exposition that connects control theory, reinforcement learning, and large-scale optimization. We review a number of recently-developed theoretical results on the optimization landscape, global convergence, and sample complexity of gradient-based methods for various continuous control problems such as the linear quadratic regulator (LQR), $\mathcal{H}_\infty$ control, risk-sensitive control, linear quadratic Gaussian (LQG) control, and output feedback synthesis. In conjunction with these optimization results, we also discuss how direct policy optimization handles stability and robustness concerns in learning-based control, two main desiderata in control engineering. We conclude the survey by pointing out several challenges and opportunities at the intersection of learning and control.

연구 동기 및 목표

• 비볼록 설정에서 정책 최적화(PO)에 대한 이론적 보장이 부족한 점을 해결하기 위해.
• 연속 제어 문제의 PO를 분석함에 있어 제어 이론, 강화 학습 및 대규모 최적화의 시각을 통합하기 위해.
• 정책 최적화가 최적 및 강건 제어 작업에서 전역 수렴성과 효율적인 샘플 복잡도를 달성할 수 있는 조건을 규명하기 위해.
• 직접 정책 최적화의 비볼록 최적화 경관과 볼록 완화(예: SDP, SOS) 간의 상호작용을 탐색하기 위해.
• 정책 최적화의 확장성, 안전성 및 모델 기반 및 모델리스 방법의 통합에 있어 열려 있는 과제를 규명하기 위해.

제안 방법

• 선형 제곱제어기(LQR), H∞, 위험 감수성, LQG 제어 문제에 대한 정책 최적화의 최적화 경관을 분석한다.
• 경사 기반 반복적 방법(예: 정책 그래디언트, 액터-크리틱)을 사용하여 파arameterized 피드백 정책을 직접 최적화한다.
• 강력성과 그래디언트 지배성 성질을 활용하여, 약한 가정 하에 LQR에 대해 전역 수렴성을 확립한다.
• 이차적 관계 및 구조적 제약 조건을 활용하여 강건성 및 구조적 제어 문제에 대한 수렴 보장을 도출한다.
• 리아프노프 및 소산성 조건을 통해 볼록 형식(예: 준정형 프로그래밍, 제곱합)과 비볼록 PO 경관을 연결한다.
• 이론적 분석을 다중 에이전트 및 분산 제어 설정으로 확장하며, 평균장 및 일반합 LQ 게임을 포함한다.

실험 결과

연구 질문

• RQ1 선형 제곱제어 문제에 대해 정책 최적화가 어떤 조건에서 전역 수렴성을 달성하는가?
• RQ2 강력성과 그래디언트 지배성 성질이 LQR의 비볼록 정책 최적화에서 전역 수렴성을 어떻게 가능하게 하는가?
• RQ3 볼록 완화(예: SDP)와 직접 정책 최적화의 비볼록 최적화 경관 간의 관계는 무엇인가?
• RQ4 구조적 제약 조건이 있는 분산 또는 다중 에이전트 제어 설정에서 정책 최적화를 어떻게 확장하고 강건하게 만들 수 있는가?
• RQ5 부분적으로 알려진 시스템에 대해 모델 기반 및 모델리스 정책 최적화를 통합하는 데 있어 이론적 과제와 기회는 무엇인가?

주요 결과

• 선형 제곱제어기(LQR)의 경우, 최적화 경관 내 강력성과 그래디언트 지배성 덕분에 경사 기반 방법을 사용한 정책 최적화가 전역 수렴성을 달성한다.
• 상태 피드백 설정에서는 적절한 구조 조건 하에서 고급 정책 최적화 방법이 위험 감수성 및 강건 제어 문제에 대해 전역 수렴성을 보장한다.
• 부분 관측(출력 피드백) 설정에서는 최적화 경관이 정책 최적화의 성능 및 수렴 행동에 대한 중요한 통찰을 제공한다.
• 리아프노프 및 소산성 조건을 통해 볼록 형식(예: SDP, SOS)과 정책 최적화의 비볼록 경관 사이에 근본적인 연결 고리가 존재한다.
• 비제약 최적화에서 안장점 회피 및 정류점 도달에 대한 이론적 결과는 정책 최적화로 확장될 수 있으며, 이는 아직 열려 있는 방향이다.
• 다중 에이전트 분산 제어에서의 확장성과 강건성은 여전히 주요 과제이며, 특히 볼록 완화 또는 구조적 불변성이 없을 경우 더욱 그렇다.