[논문 리뷰] Graph networks as learnable physics engines for inference and control

Álvaro Sánchez‐González, Nicolas Heess외 5명|arXiv (Cornell University)|2018. 06. 04.

Data Visualization and Analytics참고 문헌 42인용 수 280

한 줄 요약

그래프 네트워크는 학습 가능한 전진, 추론, 및 제어 모델로서 복잡한 물리 시스템을 다루며, 다양한 환경에서 일반화, 시스템 식별 및 그래디언트 기반 계획을 가능하게 한다.

ABSTRACT

Understanding and interacting with everyday physical scenes requires rich knowledge about the structure of the world, represented either implicitly in a value or policy function, or explicitly in a transition model. Here we introduce a new class of learnable models--based on graph networks--which implement an inductive bias for object- and relation-centric representations of complex, dynamical systems. Our results show that as a forward model, our approach supports accurate predictions from real and simulated data, and surprisingly strong and efficient generalization, across eight distinct physical systems which we varied parametrically and structurally. We also found that our inference model can perform system identification. Our models are also differentiable, and support online planning via gradient-based trajectory optimization, as well as offline policy optimization. Our framework offers new opportunities for harnessing and exploiting rich knowledge about the world, and takes a key step toward building machines with more human-like representations of the world.

연구 동기 및 목표

• 물체- 및 관계 중심의 동적 시스템 표현을 위한 귀납 편향으로 그래프 네트워크(GNs)를 소개한다.
• 다양한 물리 설정에서 미래 상태를 정확하게 예측하는 GN 기반 순방향 모델을 개발한다.
• 동역학으로부터 관측되지 않는 정적 특성을 추론하기 위한 GN 기반 추론 모델을 통해 암시적 시스템 식별을 가능하게 한다.
• 모델 기반 계획(MPC) 및 그래디언트 기반 정책 최적화를 위한 미분 가능 GN 기반 모델을 시연한다.
• 다양한 구조로 변화하는 다수 시스템 및 실제 로봇 데이터에 걸친 일반화 능력을 보여준다.

제안 방법

• 노드가 물체이고 엣지가 관절인 그래프로 물리 시스템을 표현한다.
• 엣지-별(edge-wise), 노드-별(node-wise), 전역 업데이트 함수가 있는 GN 블록을 사용하여 입력 그래프를 출력 그래프로 매핑한다.
• 한 스텝 예측을 위한 상태 차이를 예측하도록 순방향 GN 모델을 학습하고, 더 긴 시공간은 반복 GN 변형을 사용한다.
• 동적 관찰에서 잠재 정적 특성을 학습하여 부분 관찰 가능성을 위한 암시적 시스템 식별 GN을 구현한다.
• 미분 가능 GN 모델을 사용하여 그래디언트 기반 궤적 최적화(MPC) 및 SVG 기반 정책 학습을 적용한다.

실험 결과

연구 질문

• RQ1 그래프 네트워크가 데이터로부터 다양한 물리 시스템에 대한 정확한 순방향 동역학을 학습할 수 있는가?
• RQ2 GN 기반 모델은 서로 다른 링크 수와 구조를 가진 시스템에서 일반화하는가?
• RQ3 GN 기반 추론은 관찰된 동역학으로부터 보지 못한 정적 특성을 식별할 수 있는가?
• RQ4 부분 관찰 가능성하에서 GN 기반 모델은 모델 기반 계획 및 정책 최적화에 효과적인가?

주요 결과

• GN 기반 순방향 모델은 정확한 예측을 달성하고 여러 시스템에서 학습된 MLP 기반 베이스라인보다 우수하며, 특히 반복되는 구조에서 강하다.
• 단일 GN 모델이 서로 다른 링크 수 및 구조를 가진 시스템으로 일반화할 수 있으며, 보지 못한 구성을 제로샷으로 일반화하는 것도 가능하다.
• GN 기반 시스템 식별은 짧은 식별(ID) 단계 후에 부분 관찰 하에서도 장기 예측을 정확히 가능하게 한다.
• GN 기반 MPC 및 SVG 기반 제어는 강력한 베이스라인과 경쟁력 있는 성능을 달성하며 부분 관찰에서 작동할 수 있다.
• GN의 인덕티브 바이어스를 통한 모델 공유는 다수 시스템 및 정적 매개변수 변화에 대해 강건한 일반화를 제공한다.