[논문 리뷰] Structured Neural Network Dynamics for Model-based Control

Alexander Broad, Ian Abraham외 2명|arXiv (Cornell University)|2018. 08. 03.

Model Reduction and Neural Networks참고 문헌 16인용 수 7

한 줄 요약

이 논문은 시스템 동역학을 선형 시간변화 시스템으로 명시적으로 모델링하는 구조적 신경망 아키텍처를 제안한다. 이는 기울기 기반 모델 예측 제어(MPC)와 효율적으로 통합되며, 온라인 도함수 계산에 드는 비용을 줄이기 위해 시간에 따라 변화하는 자코비안(A 및 B 행렬)을 직접 출력함으로써 가능해진다. 이 방법은 전역 동역학 모델을 학습함으로써 최적 제어 합성에 적합한 빠르고 미분 가능한 선형화를 가능하게 하여 연속 제어 환경에서 효과적인 제어를 달성한다.

ABSTRACT

We present a structured neural network architecture that is inspired by linear time-varying dynamical systems. The network is designed to mimic the properties of linear dynamical systems which makes analysis and control simple. The architecture facilitates the integration of learned system models with gradient-based model predictive control algorithms, and removes the requirement of computing potentially costly derivatives online. We demonstrate the efficacy of this modeling technique in computing autonomous control policies through evaluation in a variety of standard continuous control domains.

연구 동기 및 목표

• 블랙박스 신경망 동역학 모델을 기울기 기반 최적 제어 알고리즘과 통합하는 데 있어 일반적으로 계산 비용이 큰 온라인 도함수 계산이 필요로 하는 문제를 해결하기 위해.
• 상태 공간과 제어 공간에서 선형적 구조를 강제로 부여하는 신경망 아키텍처를 개발하여 기울기 기반 MPC에 사용 가능한 시간에 따라 변화하는 자코비안(A 및 B)을 단순화하여 복구하기 위해.
• 깊이 학습 네트워크의 표현력과 선형 시간변화 시스템의 분석적 취급 용이성을 결합함으로써 데이터 효율적이고 확장 가능한 모델 기반 제어를 실현하기 위해.
• 샘플링 기반 최적화에 의존하지 않고 다양한 연속 제어 과제에서 성공적인 자율 제어 정책을 생성할 수 있음을 보여주기 위해.

제안 방법

• 아키텍처는 두 개의 병렬 서브넷으로 구성되며, 상태 공간을 매핑하는 A-서브넷과 제어 공간을 매핑하는 B-서브넷으로 이루어지며, 각각 상태 벡터와 제어 벡터의 차원과 일치하도록 제약된다.
• 네트워크는 $ \dot{x} = A(x,u) \cdot x + B(x,u) \cdot u $ 방식으로 시스템 동역학을 계산하며, 여기서 $ A $ 및 $ B $ 는 역전파를 통해 학습된 비선형 함수이다.
• A-서브넷과 B-서브넷은 상태-제어-도함수 삼중조의 데이터셋에서 예측된 상태 도함수와 진짜 상태 도함수 간의 평균 제곱오차를 최소화함으로써 실제 시스템 동역학을 근사하도록 훈련된다.
• 학습된 $ A $ 및 $ B $ 서브넷은 기울기 기반 MPC에서 요구하는 시간에 따라 변화하는 자코비안을 직접 제공하므로, 추론 시 수치적 또는 자동 미분을 위한 추가 계산이 필요 없어진다.
• 이 방법은 유한한 시간 영역 내에서 비용 함수를 최소화하는 최적 제어 문제를 해결하는 모델 예측 제어 프레임워크에 통합되며, 예측된 동역학과 자코비안을 사용해 효율적인 궤적 최적화를 수행한다.
• 모델은 Adam 옵timizer를 사용하여 훈련되며, 학습률은 0.001이며, 데이터 전처리가 필요 없다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적 제어에 사용하기 위해 시간에 따라 변화하는 시스템 자코비안(A 및 B 행렬)을 명시적으로 코딩할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 선형 시간변화 시스템을 모방하는 구조적 동역학 모델을 학습시키면 연속 제어 과제에서 모델 기반 제어의 효율성과 정확도가 향상되는가?
• RQ3 유한 차분 또는 자동 미분과 같은 대체 도함수 계산 방법과 비교했을 때, 이 방법의 계산 비용과 수치적 안정성은 어떠한가?
• RQ4 구조적 신경망이 다양한 초기 조건과 임의의 목표 상태에서 성공적인 제어를 가능하게 하는 전역 동역학 모델을 학습할 수 있는가?

주요 결과

• 제안된 구조적 신경망은 두 링크 암과 같은 표준 연속 제어 환경에서 다양한 초기 조건에서 임의의 목표 상태에 도달하는 궤적을 생성함으로써 자율 제어 정책을 성공적으로 생성한다.
• 추론 시 추가 도함수 계산이 필요 없이 시간에 따라 변화하는 자코비안(A 및 B)을 직접 출력함으로써 기울기 기반 MPC와의 효율적 통합을 가능하게 하여 온라인 계산 비용을 감소시킨다.
• 샘플링 기반 최적화에 의존하지 않고도 효과적인 제어를 달성함으로써, 실시간 제어 루프에서 학습된 미분 가능한 동역학 모델의 활용 가능성을 입증한다.
• 실험적으로 A 및 B 서브넷이 진짜 기울기의 방향과 일치하는 출력을 생성하는 것으로 나타났으며, 이는 MPC에 사용했을 때 성공적인 정책 생성을 가능하게 했다.
• 이 방법은 다양한 초기 조건에 대해 강건하며, 두 링크 암 환경에서 새로운 목표 상태로의 일반화 성능이 뛰어나 학습된 동역학 모델의 강력한 일반화 능력을 보여준다.