[논문 리뷰] Structured Policy Iteration for Linear Quadratic Regulator

Youngsuk Park, Ryan A. Rossi외 3명|arXiv (Cornell University)|2020. 07. 13.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 선형 제곱조절기(LQR)를 위한 구조적 정책 반복(S-PI)를 소개한다. 이 방법은 설명 가능성, 메모리 효율성, 분산 계산을 향상시키기 위해 (블록) 희박성 또는 저질서 구조를 가진 선형 정책을 학습한다. S-PI는 정규화를 통한 반복적 정책 평가 및 개선을 사용하며, 스무딩을 통한 기울기 추정을 통해 알려진 모델 및 모델 자유 설정 모두에서 선형 수렴을 달성한다. 이는 조정 가능한 페널티 파라미터를 통해 성능와 구조적 희박성 간의 균형을 이룬다.

ABSTRACT

Linear quadratic regulator (LQR) is one of the most popular frameworks to tackle continuous Markov decision process tasks. With its fundamental theory and tractable optimal policy, LQR has been revisited and analyzed in recent years, in terms of reinforcement learning scenarios such as the model-free or model-based setting. In this paper, we introduce the extit{Structured Policy Iteration} (S-PI) for LQR, a method capable of deriving a structured linear policy. Such a structured policy with (block) sparsity or low-rank can have significant advantages over the standard LQR policy: more interpretable, memory-efficient, and well-suited for the distributed setting. In order to derive such a policy, we first cast a regularized LQR problem when the model is known. Then, our Structured Policy Iteration (S-PI) algorithm, which takes a policy evaluation step and a policy improvement step in an iterative manner, can solve this regularized LQR efficiently. We further extend the S-PI algorithm to the model-free setting where a smoothing procedure is adopted to estimate the gradient. In both the known-model and model-free setting, we prove convergence analysis under the proper choice of parameters. Finally, the experiments demonstrate the advantages of S-PI in terms of balancing the LQR performance and level of structure by varying the weight parameter.

연구 동기 및 목표

• 알려진 모델 및 알려지지 않은 모델 설정에서 LQR의 구조적 선형 정책에 대한 이론적 및 실용적 탐색 부족을 해결하기 위해.
• LQR 정책에 (블록) 희박성 또는 저질서 구조를 강제하여 설명 가능하고 메모리 효율적이며 분산 계산에 적합한 정책을 도출하기 위한 방법을 개발하기 위해.
• 정규화를 통한 알려진 모델 및 모델 자유 설정에서의 구조적 정책 반복에 대한 수렴 분석을 제공하기 위해.
• 조정 가능한 정규화 파rameter를 통해 LQR 성능와 정책 구조 간의 트레이드오프를 시연하기 위해.

제안 방법

• 구조적 정책 제약 조건(예: 희박성 또는 저질서)을 최적화 목표에 통합하기 위해 정규화된 LQR 문제를 수립한다.
• S-PI를 제안하며, 정규화 페널티를 사용하는 프록시멀 기울기 업데이트를 통해 정책 평가 및 정책 개선 단계를 반복적으로 통합한 알고리즘을 구현한다.
• 정규화된 비용의 진정한 기울기를 근사하기 위해 스무딩 기반 기울기 추정기를 사용하여 S-PI를 모델 자유 설정으로 확장한다.
• 적응적으로 스텝 크기를 선택함으로써 안정적이고 단조로운 수렴을 보장하기 위해 선형 탐색 절차를 적용한다.
• 스펙트럼 반경과 조건 수 분석을 활용하여 적절한 파rameter 선택 조건 하에서 정적점으로의 선형 수렴을 증명한다.
• 폴리우스 노름과 특이값 분해를 사용하여 정책 구조와 수렴 오차를 측정한다.

실험 결과

연구 질문

• RQ1 성능를 유지하면서 LQR에서 구조적 선형 정책(희박성 또는 저질서)을 효과적으로 학습할 수 있는가?
• RQ2 정규화를 통한 S-PI 알고리즘이 알려진 모델 및 모델 자유 설정 모두에서 선형으로 수렴하는가?
• RQ3 정규화 가중치는 정책 구조와 LQR 성능 사이의 균형을 어떻게 조정하는가?
• RQ4 고정된 vs. 적응형 스텝 크기의 선택이 S-PI의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 스무딩을 통한 기울기 추정은 모델 자유 설정에서 효과적인 정책 학습을 가능하게 하는가?

주요 결과

• 적절한 파rameter 선택 조건 하에서 알려진 모델 및 모델 자유 설정 모두에서 S-PI는 정적점으로 선형 수렴을 달성하며, 수렴 속도는 시스템의 조건 수에 의해 상한이 설정된다.
• 정규화 가중치를 조절함으로써 알고리즘은 LQR 성능와 정책 구조 사이의 균형을 효과적으로 유지하며, 최적성과 희박성/저질서 구조 간의 트레이드오프를 가능하게 한다.
• 실험 결과, 적응형 선형 탐색 스텝 크기를 사용할 경우 S-PI는 단조로운 수렴을 보이며, 고정된 스텝 크기를 사용할 경우 특히 매우 작은 스텝 크기에서 불안정성과 비단조로운 행동이 발생함을 확인했다.
• 수렴 분석 결과, 오차는 매 반복마다 최대 $1 - 1/(2 ilde{ ho})$의 비율로 감소하며, $ ilde{ ho}$는 시스템의 조건 수와 관련이 있다.
• 성공적인 수렴 확률은 $1 - o( ilde{ ho}^{-1})$ 이하로 하한이 설정되어 있어, 가정된 조건 하에서 고확률 수렴이 가능함을 시사한다.
• 저질서 및 희박 정책을 포함한 다양한 구조적 정책을 다루는 데에 강건함을 보이며, 라플라시안 시스템에 대한 실증적 검증을 통해 검증되었다.