[논문 리뷰] Stability-certified reinforcement learning: A control-theoretic perspective

Ming Jin, Javad Lavaei|arXiv (Cornell University)|2018. 10. 26.

Reinforcement Learning in Robotics참고 문헌 46인용 수 23

한 줄 요약

이 논문은 비선형 동적 시스템에서 강화학습(RL) 정책의 안정성을 제어 이론적 프레임워크를 통해 보증하기 위해, 신경망 정책의 입력-출력 기울기를 준수하는 정수형 프로그래밍(SDP) 타당성 문제를 통해 제약하는 방법을 제안한다. 이 방법은 광범위한 종류의 제어기에서 강건하고 유한한 $L_2$ 이득 안정성 보증을 가능하게 하여 이전 방법들보다 훨씬 더 넓은 안정화 정책 집합을 제공하며, 분산 비행 편대 및 전력 시스템 주파수 조절 작업에서 안정적이고 고성능의 RL 학습을 구현한다.

ABSTRACT

We investigate the important problem of certifying stability of reinforcement learning policies when interconnected with nonlinear dynamical systems. We show that by regulating the input-output gradients of policies, strong guarantees of robust stability can be obtained based on a proposed semidefinite programming feasibility problem. The method is able to certify a large set of stabilizing controllers by exploiting problem-specific structures; furthermore, we analyze and establish its (non)conservatism. Empirical evaluations on two decentralized control tasks, namely multi-flight formation and power system frequency regulation, demonstrate that the reinforcement learning agents can have high performance within the stability-certified parameter space, and also exhibit stable learning behaviors in the long run.

연구 동기 및 목표

• 임무 핵심 응용 분야에서 비선형이고 시간에 따라 변하는 동적 시스템과 상호연결된 RL 정책의 안정성 보증이라는 핵심 과제를 해결하기 위해.
• 전체 시스템 모델 지식이 필요 없이도 신경망 정책에 대해 강력하고 검증 가능한 안정성 보장을 제공하는 체계적인 방법을 개발하기 위해.
• 스pars리티 및 한쪽 방향 기울기 행동과 같은 문제 특화 구조를 활용하여 기존 방법보다 더 넓은 안정화 제어기 집합을 확장하기 위해.
• 정책 기울기 범위를 조절하여 장기적인 RL 학습이 안정적으로 유지되도록 하여, 무한대에 가까운 이득으로 인한 치명적인 성능 저하를 방지하기 위해.
• 실세계의 분산 제어 작업, 특히 다중 에이전트 비행 편대 및 전력망 주파수 조절과 같은 분야에서 본 방법의 효과성과 확장성을 입증하기 위해.

제안 방법

• 유한한 $L_2$ 이득 안정성 보증을 위해, 입력-출력 기울기가 제한된 RL 정책에 대해 정수형 프로그래밍(SDP) 타당성 문제를 수립한다.
• 정책 안전 집합 $\mathcal{P}(\underline{\xi}, \overline{\xi})$ 를 정의하여 정책의 편미분을 지정된 하한 및 상한 $\underline{\xi}_{ij}, \overline{\xi}_{ij}$ 내에 제약한다.
• 안정성 지표로 $L_2$ 이득을 사용하여, 유한 입력-유한 출력(BIBO) 안정성과 외부 교란에 대한 강건성을 확보한다.
• 비활성 관측치에 대해 $\underline{\xi}_{ij} = \overline{\xi}_{ij} = 0$ 로 설정하여 분산 제어에서 구조적 스파arsity를 통합함으로써 타당성 감소를 줄인다.
• 학습 과정에서 관측된 한쪽 방향 기울기 행동을 활용하여 범위를 정밀하게 조정(예: $\overline{\xi}_{ij} = -0.1l$, $\underline{\xi}_{ij} = l$)하고, 더 넓은 안정성 보증 영역을 확장한다.
• 정책 기울기 강하 조건을 소프트 펜alty 또는 하드 타당성 기반으로 적용하여 RL 학습 중 기울기가 유한하게 유지되도록 하며, 장기적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 비선형이고 시간에 따라 변하는 동적 시스템에서 신경망 정책의 안정성에 대해 기울기 정보만으로 검증 가능하고 예방적인 안정성 보증을 제공할 수 있는가?
• RQ2 제안된 SDP 기반 안정성 보증 방법은 기존의 $L_2$-노름 기반 방법에 비해 얼마나 더 보수적인가?
• RQ3 분산 시스템에서의 구조적 스파arsity와 한쪽 방향 기울기 행동을 얼마나 효과적으로 활용하여 안정화 제어기의 보증 집합을 확장할 수 있는가?
• RQ4 RL 학습 중 정책 기울기 범위를 조절함으로써 더 안정적인 학습이 이루어지고 장기적 운영에서 성능 붕괴가 방지되는가?
• RQ5 본 방법은 다중 에이전트 비행 편대 및 전력 시스템 주파수 조절과 같은 실세계 분산 제어 작업에서 고성능·안정적인 RL 정책을 가능하게 하는가?

주요 결과

• 제안된 SDP 타당성 조건은 기울기 제한 집합 $\mathcal{P}(\underline{\xi}, \overline{\xi})$ 내의 모든 정책에 대해 유한한 $L_2$ 이득을 보증하며, 강력하고 검증 가능한 안정성 보장을 제공한다.
• 스파arsity를 활용함으로써 전력 시스템 조절 작업에서 리프시츠 상수를 0.6까지 보장하며, 기존 $L_2$-노름 제약의 0.3 한계를 두 배로 초월한다.
• 한쪽 방향 기울기 행동을 통합함으로써 보증된 리프시츠 상수는 1.1까지 확장되어 안정화 제어기 집합이 크게 증가한다.
• 다중 에이전트 비행 편대 작업에서 안정성 보장된 RL 정책는 높은 성능을 달성하면서도 안정적인 학습을 유지하여 치명적인 실패를 방지했다.
• 전력 시스템 주파수 조절 작업에서 RL 에이전트는 비용을 명시적 제어기의 50.8에서 23.9로 감소시켜, 보증된 안정성 영역 내에서 뛰어난 성능을 입증했다.
• 기울기 조절 없이 학습한 RL은 약 500 반복 후 기울기 증가로 인해 성능 저하를 보였지만, 조절된 학습은 전체 학습 과정 동안 안정적이고 고성능의 행동을 유지했다.