[논문 리뷰] Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach

Yingying Li, Yujie Tang외 2명|arXiv (Cornell University)|2019. 12. 19.

Advanced Control Systems Optimization인용 수 17

한 줄 요약

이 논문은 국소 비용과 국소 관측이 있는 분산 선형 제곱 제어를 위한 도함수 기반 분산 강화 학습 알고리즘인 ZODPO를 제안한다. 영점 기반 경사도 추정, 공감 기반 비용 평균화, 국소 정책 업데이트를 조합함으로써 ZODPO는 다항 시간 복잡도를 확보하고 높은 확률로 안정화 제어기를 보장하며, 대규모 시스템에서 확장 가능하고 안전한 학습을 가능하게 한다.

ABSTRACT

This paper considers a distributed reinforcement learning problem for decentralized linear quadratic control with partial state observations and local costs. We propose a Zero-Order Distributed Policy Optimization algorithm (ZODPO) that learns linear local controllers in a distributed fashion, leveraging the ideas of policy gradient, zero-order optimization and consensus algorithms. In ZODPO, each agent estimates the global cost by consensus, and then conducts local policy gradient in parallel based on zero-order gradient estimation. ZODPO only requires limited communication and storage even in large-scale systems. Further, we investigate the nonasymptotic performance of ZODPO and show that the sample complexity to approach a stationary point is polynomial with the error tolerance's inverse and the problem dimensions, demonstrating the scalability of ZODPO. We also show that the controllers generated throughout ZODPO are stabilizing controllers with high probability. Lastly, we numerically test ZODPO on multi-zone HVAC systems.

연구 동기 및 목표

• 국소 상태 관측과 국소 비용 조건 하에서 분산 강화 학습 알고리즘을 개발한다.
• 각 에이전트의 통신 및 저장 용량이 제한된 대규모 시스템에서의 확장 가능한 학습을 가능하게 한다.
• 분산 정책 최적화에 대해 비점근적 성능 보장을 제공한다. 이는 샘플 복잡도와 안정성 포함.
• 무한정된 가우시안 프로세스 노이즈 조건 하에서도 학습 중 제어기 안정성을 보장한다.
• 다중 영역 환기·ventilation·공조 시스템(Multi-zone HVAC)과 같은 실제 시스템에서 학습된 제어기의 최적성과 안전성을 수치적으로 검증한다.

제안 방법

• ZODPO는 국소 정책 파라미터에 대한 전역 비용의 경사도를 오직 정책의 변형에 대한 비용 평가만을 사용하여 영점 기반 최적화를 통해 추정한다.
• 각 에이전트는 추정된 경사도를 기반으로 국소 정책 업데이트를 수행하며, 공간적·시간적 평균화를 통해 무한 시간 영역 전역 비용을 공감 알고리즘을 통해 근사한다.
• 에이전트 간 통신을 최소화하기 위해 분산형 편향 샘플링 방법을 설계하여 정책 편향을 생성한다.
• 경사도 추정 과정에 잘라내기 단계를 도입하여 경사도를 제한하고, 무한정한 프로세스 노이즈 조건 하에서도 안정성을 확보한다.
• 정적 선형 정책 파arameterization $ u_i(t) = K_i x_{\mathcal{I}_i}(t) $를 사용하며, $ K_i $는 에이전트 간 병렬로 업데이트된다.
• 공감 기반의 비용 추정은 모든 에이전트가 최소한의 통신 오버헤드로 전역 비용을 공동으로 추정하도록 보장한다.

실험 결과

연구 질문

• RQ1 국소 관측과 국소 비용 조건 하에서 분산 도함수 기반 정책 최적화 알고리즘의 샘플 복잡도는 무엇인가?
• RQ2 무한정한 프로세스 노이즈 조건 하에서도 높은 확률로 안정화 제어기를 보장할 수 있는가?
• RQ3 알고리즘 성능은 시스템 차원과 에이전트 수에 따라 어떻게 스케일링되는가?
• RQ4 근사된 편향 샘플링과 비용 추정의 영향은 수렴에 어떤 영향을 미치는가?
• RQ5 실제 시스템, 예를 들어 다중 영역 환기·ventilation·공조 시스템에 대해 안전성과 최적성 보장을 갖춘 실용적 적용이 가능한가?

주요 결과

• ZODPO가 $ \epsilon $-정류점에 도달하기 위한 샘플 복잡도는 $ O(n_K^3 \max(n,N)\epsilon^{-4}) $이며, 문제 차원과 역 오차 허용 오차에 대해 다항 스케일링 가능성을 보여준다.
• 영점 기반 경사도 추정에서 잘라내기 단계 덕분에, 무한정한 가우시안 프로세스 노이즈 조건 하에서도 ZODPO가 생성한 모든 제어기는 높은 확률로 안정화된다.
• 편향 샘플링의 근사 오차와 공간-시간 비용 평균화 오차를 제한함으로써 비점근적 성능 보장을 달성한다.
• 다중 영역 HVAC 시스템에 대한 수치 실험 결과, ZODPO는 최적이고 안전한 제어기를 학습함을 입증하며 실용적 적용 가능성을 확인한다.
• 국소 관측과 무한정한 노이즈 조건 하에서 분산 학습에 대한 첫 번째 샘플 복잡도 결과이다.
• 이론적 분석을 통해 추정된 비용과 진짜 값 사이의 기대 편차가 $ O(1/T_J^2) $ 속도로 감소함을 증명하여 수렴성을 보장한다.