[논문 리뷰] Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems

Sahin Lale, Kamyar Azizzadenesheli외 2명|arXiv (Cornell University)|2020. 07. 23.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 초기 안정화 컨트롤러가 필요 없이 빠른 안정화와 $˜{O}( ext{sqrt}{T})$의 정규화를 달성하는 모델 기반 강화학습 알고리즘인 StabL을 제안한다. 유의미한 탐색과 등방성 편향을 조합함으로써 학습 기간 동안 시스템 안정성을 보장하면서도 문제 차원에 대해 다항적 의존성을 유지하여 이전 방법에 비해 크게 향상된 성능을 제공한다.

ABSTRACT

In this work, we study model-based reinforcement learning (RL) in unknown stabilizable linear dynamical systems. When learning a dynamical system, one needs to stabilize the unknown dynamics in order to avoid system blow-ups. We propose an algorithm that certifies fast stabilization of the underlying system by effectively exploring the environment with an improved exploration strategy. We show that the proposed algorithm attains $ ilde{\mathcal{O}}(\sqrt{T})$ regret after $T$ time steps of agent-environment interaction. We also show that the regret of the proposed algorithm has only a polynomial dependence in the problem dimensions, which gives an exponential improvement over the prior methods. Our improved exploration method is simple, yet efficient, and it combines a sophisticated exploration policy in RL with an isotropic exploration strategy to achieve fast stabilization and improved regret. We empirically demonstrate that the proposed algorithm outperforms other popular methods in several adaptive control tasks.

연구 동기 및 목표

• 알 수 없는 안정 가능한 선형 동적 시스템에서 초기 안정화 컨트롤러에 접근할 수 없는 상황에서의 학습 문제를 해결하기 위해.
• 온라인 학습 기간 동안 정규화를 최소화하면서도 시스템 안정화를 빠르게 달성할 수 있는 탐색 전략을 설계하기 위해.
• 이전 연구에서의 지수적 의존성에 비해 문제 차원에 대해 다항적 의존성만을 가지는 정규화를 달성하기 위해.
• 일반적인 안정 가능한 LQR 설정에서 안정성과 성능에 대한 이론적 및 실험적 보장을 제공하기 위해, 단지 제어 가능하거나 수축 가능한 경우에 국한되지 않도록 하기 위해.
• 비제어 가능하지만 안정 가능한 시스템에서 UAV 제어 및 기타 시스템에서 뛰어난 실험적 성능을 입증하기 위해.

제안 방법

• 불확실성에 대한 낙관적 태도(OFU)와 등방성 탐색을 통합하여 탐색과 이용의 균형을 이루는 StabL 알고리즘을 제안한다.
• 초기 학습 단계에서 시스템 동역학을 적극적으로 탐색하고 안정성을 보장하기 위해 감쇠 또는 고정된 편향을 포함하는 새로운 탐색 전략을 사용한다.
• 최소 제곱 추정을 통해 시스템 매개변수에 대한 신뢰도 집합을 구축하고, 후보 컨트롤러의 안정성을 검증하기 위해 안정성 증명 기반을 적용한다.
• 시간에 따라 변화하는 탐색 스케줄을 활용하여 불확실도가 높고 영향력이 큰 상태-행동 쌍을 우선순위에 두어 학습과 안정화를 가속화한다.
• 배포 이전에 후보 컨트롤러가 시스템을 안정화시키는지 검증하는 안정성 인증 메커니즘을 도입한다.
• 모델 기반 학습과 정규화 최소화를 결합하여 초기 단계에서 안정화에 선형 비용을 지불하지만, 총괄적으로는 비선형 정규화를 달성한다.

실험 결과

연구 질문

• RQ1 알 수 없는 안정 가능한 선형 시스템을 안정화하기 위해 초기 안정화 컨트롤러가 필요 없이 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 안정 가능한 LQR에서 문제 차원에 대해 다항적 의존성만을 가지며 $\tilde{\mathcal{O}}(\sqrt{T})$ 정규화를 달성할 수 있는가?
• RQ3 개선된 탐색 전략은 OFU 기반 방법에 비해 안정화 속도와 정규화 성능에 어떤 영향을 미치는가?
• RQ4 기존 방법이 실패하는 비제어 가능하지만 안정 가능한 시스템에서 제안된 방법이 기존 알고리즘을 초월할 수 있는가?
• RQ5 안정 가능한 LQR에서 초기 탐색 비용과 장기적 정규화 사이의 상충 관계는 어떠한가?

주요 결과

• StabL은 문제 차원에 대해 다항적 의존성만을 가지며 $\tilde{\mathcal{O}}(\sqrt{T})$ 정규화를 달성하여 이전 방법의 지수적 정규화 경계에 비해 지수적 향상을 이룬다.
• UAV 제어 작업에서 StabL은 200단계 후 평균 정규화가 $1.53 \times 10^5$로, OFULQ($5.06 \times 10^7$) 및 CEC 변종을 뛰어넘는 성능을 보였다.
• UAV 작업에서 StabL은 평균적으로 최대 상태 노름을 $8.46 \times 10^1$로 유지하여 OFULQ($5.61 \times 10^2$)보다 훨씬 낮아 안정성 측면에서 뛰어난 성능을 보였다.
• 비제어 가능하지만 안정 가능한 시스템에서 StabL은 평균 정규화가 $1.68 \times 10^6$를 기록했고, OFULQ는 $5.20 \times 10^{12}$의 정규화로 치명적인 실패를 겪었다.
• StabL은 최악의 5% 상태 노름을 $2.51 \times 10^2$로 줄였고, OFULQ는 $6.35 \times 10^3$로 비교하여 강건성을 확인했다.
• 결과도표의 사분위수 표준편차 밴드에서 볼 수 있듯이, 알고리즘은 다수의 실행에서 안정적인 성능을 보이며 정규화와 상태 노름의 변동성이 낮았다.