[논문 리뷰] A General Framework for Structured Learning of Mechanical Systems

Jayesh K. Gupta, Kunal Menda외 2명|arXiv (Cornell University)|2019. 02. 22.

Model Reduction and Neural Networks참고 문헌 24인용 수 15

한 줄 요약

이 논문은 기계 시스템을 위한 그레이박스 학습 프레임워크를 제안하며, 라그랑지안과 일반화된 힘을 신경망을 사용해 매개변수화함으로써 사전 지식을 구조적으로 통합하여 편향과 분산을 줄입니다. 시뮬레이션된 더블 펜듈럼에서 블랙박스 모델에 비해 더 높은 데이터 효율성과 성능을 보이며, 모델 기반 강화학습에서 뛰어난 성능을 발휘합니다.

ABSTRACT

Learning accurate dynamics models is necessary for optimal, compliant control of robotic systems. Current approaches to white-box modeling using analytic parameterizations, or black-box modeling using neural networks, can suffer from high bias or high variance. We address the need for a flexible, gray-box model of mechanical systems that can seamlessly incorporate prior knowledge where it is available, and train expressive function approximators where it is not. We propose to parameterize a mechanical system using neural networks to model its Lagrangian and the generalized forces that act on it. We test our method on a simulated, actuated double pendulum. We show that our method outperforms a naive, black-box model in terms of data-efficiency, as well as performance in model-based reinforcement learning. We also conduct a systematic study of our method's ability to incorporate available prior knowledge about the system to improve data efficiency.

연구 동기 및 목표

• 사전 지식과 데이터 기반 함수 근사의 조합을 통해 기계 시스템 역학 학습에서 편향-분산 트레이드오���을 해결하는 것.
• 도메인 지식을 학습된 역학 모델에 원활하게 통합할 수 있는 유연하고 모듈러한 프레임워크를 개발하는 것.
• 순수한 블랙박스 접근 방식에 비해 데이터 효율성과 모델 기반 강화학습 성능을 향상시키는 것.
• 라그랑지안과 일반화된 힘의 구조적 매개변수화를 통해 정확하고 물리적으로 일관된 역학 모델링을 가능하게 하는 것.

제안 방법

• 신경망을 사용해 시스템의 라그랑지안과 일반화된 힘을 매개변수화하여, 미분 가능하고 물리적 제약이 있는 학습을 가능하게 합니다.
• 오일러-라그랑즈 방정식을 사용해 학습된 라그랑지안과 힘으로부터 가속도를 계산함으로써 물리적 일관성을 확보합니다.
• 상태 및 제어 궤적에 대한 예측 손실을 최소화하는 기반으로 기울기 기반 최적화를 통해 모델을 훈련시킵니다.
• 가설 클래스를 모듈러하게 구성하여 사전 지식의 선택적 적용(예: 제어-아핀 구조, 힘 유형 등)을 가능하게 합니다.
• 접촉이 풍부한 환경에서의 비연속 역학을 정확하게 시뮬레이션하기 위해 변분 적분기를 적용합니다.
• 궤적 최적화(예: DIRCOL)를 사용한 모델 기반 강화학습을 통해 샘플 효율성과 정책 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 순수한 블랙박스 모델에 비해 구조적 그레이박스 접근 방식이 역학 학습에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 시스템의 구조에 대한 사전 지식(예: 제어-아phin 힘, 중력 전용 등)이 신경망 기반 역학 모델에 얼마나 효과적으로 통합될 수 있는가?
• RQ3 제안된 프레임워크가 엔드 투 엔드 블랙박스 모델링보다 모델 기반 강화학습에서 더 뛰어난 성능을 발휘할 수 있는가?
• RQ4 물리적 구조가 제약이 없는 함수 근사에 비해 분산을 얼마나 줄이는가?

주요 결과

• 제어-아phin 힘에 대한 사전 지식을 포함한 MVB 매개변수화 방식이, 가장 적은 환경 상호작용 수로 모델 기반 강화학습 작업을 성공적으로 해결했습니다.
• 사전 지식이 없는 MVF 매개변수화 방식은 작업을 성공적으로 해결했지만, MVB에 비해 더 많은 상호작용이 필요했으며, 이는 구조적 모델링이 샘플 효율성을 향상시킨다는 것을 입증했습니다.
• 순수한 블랙박스 모델은 상태 공간에서의 일반화 부족과 탐색 부족으로 인해 허용 시간 내에 작업을 해결하지 못했습니다.
• 제안된 방법은 라그랑지안과 힘 매개변수화에 내재된 물리적 제약 덕분에 순수한 블랙박스 접근 방식보다 낮은 모델 분산을 달성했습니다.
• 사전 지식이 없더라도, 이 방법은 더블 펜듈럼에서 순수한 블랙박스 학습에 비해 데이터 효율성과 모델 기반 강화학습 성능에서 뛰어난 성능을 발휘했습니다.