[논문 리뷰] Hierarchical Decomposition of Nonlinear Dynamics and Control for System Identification and Policy Distillation

Hany Abdulsamad, Jan Peters|arXiv (Cornell University)|2020. 05. 04.

Control Systems and Identification참고 문헌 49인용 수 6

한 줄 요약

이 논문은 기대값-최대화(EM) 알고리즘을 통해 확률적 스위칭 선형 동적 시스템(SLS)을 사용하여 비선형 동역학 및 제어를 계층적으로 분해하는 프레임워크를 제안한다. 복잡한 시스템을 국소적으로 선형이고 마르코프 기반인 제어기의 혼합 모델로 표현함으로써, 이 방법은 해석 가능한 시스템 식별과 정책 압축을 가능하게 하며, 딥 뉴럴 네트워크에 비해 훨씬 낮은 정책 복잡도로 진자 들기 및 안정화 작업에서 95% 이상의 성공률을 달성한다.

ABSTRACT

The control of nonlinear dynamical systems remains a major challenge for autonomous agents. Current trends in reinforcement learning (RL) focus on complex representations of dynamics and policies, which have yielded impressive results in solving a variety of hard control tasks. However, this new sophistication and extremely over-parameterized models have come with the cost of an overall reduction in our ability to interpret the resulting policies. In this paper, we take inspiration from the control community and apply the principles of hybrid switching systems in order to break down complex dynamics into simpler components. We exploit the rich representational power of probabilistic graphical models and derive an expectation-maximization (EM) algorithm for learning a sequence model to capture the temporal structure of the data and automatically decompose nonlinear dynamics into stochastic switching linear dynamical systems. Moreover, we show how this framework of switching models enables extracting hierarchies of Markovian and auto-regressive locally linear controllers from nonlinear experts in an imitation learning scenario.

연구 동기 및 목표

• 현대의 딥 강화 학습 정책에서의 해석 불가능성 문제를 해결하기 위해 복잡한 비선형 동역학을 더 단순한 국소 선형 성분으로 분해하는 것.
• 확률적 그래픽 모델을 사용하여 시연 데이터로부터 하이브리드 동역학 및 제어 정책을 데이터 기반으로 식별하는 방법을 개발하는 것.
• 딥 강화 학습 에이전트와 같은 과도하게 파rameter화된 전문가로부터 압축된, 자동 회귀형 국소 선형 제어기를 추출하여 정책 압축을 실현하는 것.
• 제한된 데이터로도 장기적인 시간 간격의 비선형 동역학을 국소 선형 모델이 효과적으로 포괄할 수 있는지 검증하는 것.
• 모의 학습을 지원하기 위해 내재된 입력을 통합하여 복잡한 정책을 이해 가능한 스위칭 제어기로 압축하는 데에 프레임워크를 확장하는 것.

제안 방법

• 프레임워크는 비선형 동역학을 전이 확률, 상태 동역학, 관측 모델을 포함한 전이 가능한 자동 회귀 숨겨진 마르코프 모델(rAR-HMM)로 모델링하며, 이는 이산 스위칭 상태를 가진 하이브리드 동적 베이지안 네트워크(HDBN)의 일종이다.
• 전이 확률, 상태 동역학, 관측 모델의 매개변수를 동시에 추론하기 위해 기대값-최대화(EM) 알고리즘을 유도한다.
• 정책 네트워크로부터 유도된 내재된 입력을 통합함으로써, 개방형 시스템 식별과 폐쇄형 제어 학습을 모두 지원한다.
• 메시지 전달과 변분 추론을 사용하여 은닉된 이산 상태를 처리하고, 시간 시리즈 데이터로부터 스위칭 구조를 효율적으로 학습한다.
• 모델은 마르코프 기반 및 자동 회귀형 국소 선형 제어기를 모두 지원하여 계층적 정책 표현을 가능하게 한다.
• rAR-HMM을 전문가 시연를 모방하도록 훈련시킴으로써 정책 압축을 달성하여, 압축되고 이해 가능한 하이브리드 정책을 생성한다.

실험 결과

연구 질문

• RQ1 제한된 시간 시리즈 데이터에서 복잡한 비선형 동역학을 효과적으로 식별할 수 있는 스위칭 동역학을 가진 확률적 그래픽 모델이 가능한가?
• RQ2 비선형 제어 정책을 국소 선형 제어기로 계층적으로 분해할 때, 모델 복잡도를 감소시키면서도 작업 성능을 유지할 수 있는가?
• RQ3 rAR-HMM 프레임워크 내의 내재된 입력이 전문가 정책으로부터 효과적인 모의 학습을 가능하게 하는 정도는 어느 정도인가?
• RQ4 제안된 EM 기반 추론 방법이 사전 지식 없이도 의미 있는 스위칭 영역을 자동으로 발견할 수 있는가?
• RQ5 딥 뉴럴 네트워크 정책과 비교했을 때, 하이브리드 프레임워크에서 국소 선형 제어기를 사용할 경우 고전적 제어 벤치마크에서 성능이 뛰어나거나 동등한가?

주요 결과

• rAR-HMM 프레임워크는 전문가 정책에서 압축된 하이브리드 정책을 사용하여 펜듈럼 및 카트폴 환경에서 모두 95% 이상의 성공률을 달성했다.
• 이 방법은 비선형 동역학을 이해할 수 있는 국소 선형 성분으로 성공적으로 분해하였으며, 자동 회귀적 구조를 통해 장기적인 시간 간격 의존성을 포착했다.
• 정책 압축을 통해 SAC 에이전트의 4,545개 매개변수를 5개의 영역과 50개 매개변수를 가진 하이브리드 정책으로 줄였고, 성능은 유사하게 유지되었다.
• EM 알고리즘이 스위칭 구조와 동역학 매개변수를 효과적으로 학습하여 제한된 데이터로도 정확한 시스템 식별이 가능했다.
• 프레임워크는 국소 선형 제어기가 고전적 제어 과제에서 복잡한 비선형 행동을 효과적으로 표현할 수 있음을 입증했다.
• 내재된 입력의 통합은 효과적인 모의 학습을 가능하게 하여, 모델이 시연 데이터로부터 전문가 행동을 복원할 수 있었다.