[논문 리뷰] Propagation Networks for Model-Based Control Under Partial Observation

Yunzhu Li, Jiajun Wu외 4명|arXiv (Cornell University)|2018. 09. 28.

Model Reduction and Neural Networks참고 문헌 34인용 수 11

한 줄 요약

이 논문은 부분 관찰 환경에서 모델 기반 제어를 가능하게 하기 위해 시나리오 그래프 내에서 다단계 상호작용 경로를 통해 신호를 전파하는 가분가능하고 학습 가능한 동역학 모델인 전파 네트워크(PropNet)를 소개한다. 기존 방법이 이가지 상호작용에 국한되어 있는 것과 달리, PropNet은 장거리이면서 동시에 다체의 동역학을 모델링하여 전방 시뮬레이션 및 제어 작업에서 더 뛰어난 성능을 달성하며, 샘플 효율성, 정확도, 그리고 새로운 시나리오로의 일반화 능력 향상에 기여한다.

ABSTRACT

There has been an increasing interest in learning dynamics simulators for model-based control. Compared with off-the-shelf physics engines, a learnable simulator can quickly adapt to unseen objects, scenes, and tasks. However, existing models like interaction networks only work for fully observable systems; they also only consider pairwise interactions within a single time step, both restricting their use in practical systems. We introduce Propagation Networks (PropNet), a differentiable, learnable dynamics model that handles partially observable scenarios and enables instantaneous propagation of signals beyond pairwise interactions. Experiments show that our propagation networks not only outperform current learnable physics engines in forward simulation, but also achieve superior performance on various control tasks. Compared with existing model-free deep reinforcement learning algorithms, model-based control with propagation networks is more accurate, efficient, and generalizable to new, partially observable scenes and tasks.

연구 동기 및 목표

• 기존의 학습 가능한 물리 시뮬레이터가 이가지 상호작용만을 모델링하고 전체 상태 관측이 필요로 하는 한계를 해결하기 위해.
• 오직 일부 객체만이 가시적인 부분 관찰 환경에서 정확한 전방 시뮬레이션과 제어를 가능하게 하기 위해.
• 즉각적인 다단계 전파를 가능하게 하며 근접한 객체 쌍을 초월한 물리적 영향을 모델링할 수 있는 가분가능한 동역학 모델을 개발하기 위해.
• 복잡하고 접촉이 많은 작업을 위한 모델 기반 강화 학습에서 샘플 효율성, 정확도, 일반화 능력을 향상시키기 위해.
• 온라인 적응과 새로운 구성으로의 일반화를 통해 물리적 특성에 대한 불확실성에 견딜 수 있도록 하기 위해.

제안 방법

• 이 방법은 시나리오를 방향성 그래프로 표현하며, 객체는 노드이고 상호작용은 방향성 간선이 되어 구조화된 신호 전파를 가능하게 한다.
• 다단계 메시지 전달 메커니즘을 사용하여 한 시간 단계 내에 물리적 영향(예: 힘, 속도)을 그래프 전역으로 전파함으로써 장거리 및 동시에 발생하는 상호작용을 모델링한다.
• 잠재 동역학 표현을 기반으로 작동하여 부분 관측에서 숨겨진 객체 상태를 추론할 수 있어 부분 관측 설정에 적합하다.
• 잔차 연결과 공유 인코딩을 활용하여 훈련 안정성과 계산 효율성을 향상시킨다.
• 제어 작업에서 예측된 구성과 목표 구성 간의 차이를 최소화하는 가분가능한 손실 함수를 사용하여 종합적으로 훈련한다.
• 모델 예측 제어(MPC) 프레임워크에 통합되어 향후 상태를 예측하고 행동 선택을 안내한다.

실험 결과

연구 질문

• RQ1 학습 가능한 물리 엔진이 한 시간 단계 내에 이가지 관계를 초월한 장거리 다체 상호작용을 모델링할 수 있는가?
• RQ2 제한된 관측으로 훈련된 동역학 모델이 새로운 부분 관측 환경으로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 PropNet을 사용한 모델 기반 제어가 샘플 효율성, 정확도, 일반화 능력에서 모델 프리 딥 강화 학습보다 뛰어나게 성능을 내는가?
• RQ4 온라인 피드백과 정밀 조정을 통해 PropNet이 불확실하거나 잘못된 물리적 특성 추정치에 적응할 수 있는가?
• RQ5 뉴턴의 크레들, 로프 조작, 상자 밀기와 같은 복잡하고 접촉이 많은 제어 작업에서 PropNet은 부분 관측 조건에서 어떻게 성능을 내는가?

주요 결과

• 뉴턴의 크레들 작업에서 PropNet은 기준 초기 각도에서 MSE 3.08을 기록했고, 상호작용 네트워크는 296.66로 제어 정확도 향상의 명확한 개선을 보였다.
• 로프 조작 작업에서 PropNet은 수작업으로 튜닝된 PD 제어기(MSE 2.50)와 DRL을 모두 능가하여 목표 구성에 더 가까운 오차를 기록했다.
• 물리적 특성에 대해 15% 노이즈가 가미된 추정을 한 경우, PropNet의 성능은 처음에 저하되었지만, 20단계 동안 SGD를 사용한 온라인 적응을 통해 복구되었으며, 고정된 특성 기반 베이스라인을 능가했다.
• 부분 관측 조건에서 상자 밀기 작업에서 PropNet은 Chamfer 거리 측정 기준으로 DRL과 상호작용 네트워크보다 더 뛰어난 성능을 보였으며, 이는 은폐된 동역학을 명시적으로 모델링했기 때문이다.
• 고정 길이 15로만 훈련된 후, 새로운 로프 길이(10–20)에 대해 우수한 일반화 성능를 유지하여 강력한 일반화 능력을 입증했다.
• 모든 평가된 작업에서 PropNet을 사용한 모델 기반 제어는 최신 기술의 모델 프리 DRL 알고리즘보다 더 샘플 효율적이고 정확했다.