[논문 리뷰] MPC-Inspired Neural Network Policies for Sequential Decision Making

Marcus A. Pereira, David D. Fan외 2명|arXiv (Cornell University)|2018. 02. 15.

Reinforcement Learning in Robotics참고 문헌 11인용 수 30

한 줄 요약

이 논문은 연속적인 상태 공간과 행동 공간에서 순차적 결정 문제를 위한 MPC 기반 신경망 정책, 특히 PI-Nets를 제안한다. DAgger 알고리즘을 반복적 제어 시퀀스 최적화에 확장함으로써, 강인한 외란 및 모델 오차에 대한 일반화 능력을 갖춘 계획 인식 정책의 효율적이고 확장 가능한 학습을 가능하게 하며, 벤치마크 과제에서 반응형 및 표준 순환 정책보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we investigate the use of MPC-inspired neural network policies for sequential decision making. We introduce an extension to the DAgger algorithm for training such policies and show how they have improved training performance and generalization capabilities. We take advantage of this extension to show scalable and efficient training of complex planning policy architectures in continuous state and action spaces. We provide an extensive comparison of neural network policies by considering feed forward policies, recurrent policies, and recurrent policies with planning structure inspired by the Path Integral control framework. Our results suggest that MPC-type recurrent policies have better robustness to disturbances and modeling error.

연구 동기 및 목표

• 순차적 결정 문제에서 연속적인 상태 공간과 행동 공간에 대해 확장 가능하고 일반화 가능한 계획 정책의 부족을 해결하기 위해.
• PI-Nets와 같은 복잡한 계획 아키텍처의 샘플 효율성과 학습 확장성을 향상시키기 위해.
• 시스템 역학 및 초기 조건의 분포 변화에 대한 강인성을 향상시키기 위해.
• MPC 전문가를 사용한 이민 학습을 통해 계획 정책의 엔드 투 엔드 학습을 가능하게 하기 위해.
• MPC 유형의 순환 정책이 연속 제어 과제에서 반응형 및 비-MPC 순환 정책보다 뛰어나게 성능을 발휘하는지 확인하기 위해.

제안 방법

• 각 타임스텝에서 MPC 전문가로부터 제어 행동 시퀀스를 수집함으로써 DAgger 알고리즘을 확장하여 MPC 기반 정책을 학습한다.
• 유한 시간 영역의 제어 시퀀스를 반복적으로 재최적화하는 순환 신경망 아키텍처를 사용하며, 이는 모델 예측 제어(MPC)를 모방한다.
• 경로 적분(PI) 제어 프레임워크에 기반한 미분 가능 계획 모듈을 사용하여 롤아웃 전파를 엔드 투 엔드로 가능하게 한다.
• 타임스텝 간 제어 시퀀스의 웜스타트를 적용하여 계산 부담을 줄이고 최적화 수렴을 향상시킨다.
• 전체 제어 시퀀스(단지 행동만이 아닌)를 포함한 전문가 시뮬레이션을 기반으로 이민 학습을 수행한다.
• 효율적인 시퀀스 처리 및 최적화를 통해 이전 작업 대비 시간과 메모리 요구량을 50배 감소시킨다.

실험 결과

연구 질문

• RQ1 MPC 기반 순환 정책은 반응형 또는 표준 순환 정책에 비해 연속 제어 과제에서 일반화 능력과 강인성을 향상시키는가?
• RQ2 DAgger 알고리즘을 제어 시퀀스 처리에 확장함으로써 복잡한 계획 정책의 확장 가능하고 효율적인 학습이 가능한가?
• RQ3 PI-Nets는 다양한 시스템 역학, 노이즈, 그리고 초기 조건에서 어떻게 성능을 발휘하는가?
• RQ4 연속 공간에서 미분 가능 계획 모듈의 엔드 투 엔드 학습을 효율적으로 달성할 수 있는가?
• RQ5 피드포워드, 순환, 그리고 MPC 구조 정책의 상대적 성능은 연속 제어 벤치마크에서 어떻게 나타나는가?

주요 결과

• PI-Nets는 앤티 및 할프 체타 과제에서 100% 성공률를 기록하며, 성공률와 평균 손실 모두에서 모든 다른 정책을 압도했다.
• 카트폴 과제에서 PI-Nets는 99.0%의 성공률와 평균 손실 1±2를 기록했으며, 반응형 FNN 및 표준 RNN 정책보다 뚜렷이 뛰어났다.
• MPC-DAgger로 학습된 정책는 초기 조건의 편향, 노이즈, 시스템 역학 변화에 대해 강인하게 일반화되었고, 감독 학습 기반 베이스라인은 완전히 실패했다.
• MPC 유형의 정책(PI-Net)은 초기 상태 분산이 증가하더라도 궤적을 정확히 수렴시키는 데서 뛰어난 강인성을 보였으며, 취약한 반응형 정책와 대비되었다.
• 제안된 DAgger 확장으로 인해 이전 방법 대비 시간과 메모리 요구량이 50배 감소하여 복잡한 계획 아키텍처의 확장 가능한 학습이 가능해졌다.
• PI-Nets는 모델 오차 및 외란 상황에서 비-MPC 순환 정책보다 더 우수한 일반화 능력을 보였으며, 반복적인 재최적화가 강인성을 향상시킨다는 가설을 확인했다.