[논문 리뷰] Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks

David Zheng, Vinson Luo외 2명|arXiv (Cornell University)|2018. 07. 24.

Neural Networks and Applications인용 수 47

한 줄 요약

본 논문은 Perception-Prediction Network (PPN)을 제안합니다. 이는 다이나믹스로부터 잠재 물체 속성을 학습하여 미래의 운동을 예측하고 질량과 충돌 반발 계수와 같은 인간이 해석할 수 있는 속성을 복원할 수 있는 비지도 그래프 기반 모델입니다. 또한 보지 못한 물체 수와 속성 범위에 일반화됩니다.

ABSTRACT

We propose a framework for the completely unsupervised learning of latent object properties from their interactions: the perception-prediction network (PPN). Consisting of a perception module that extracts representations of latent object properties and a prediction module that uses those extracted properties to simulate system dynamics, the PPN can be trained in an end-to-end fashion purely from samples of object dynamics. The representations of latent object properties learned by PPNs not only are sufficient to accurately simulate the dynamics of systems comprised of previously unseen objects, but also can be translated directly into human-interpretable properties (e.g., mass, coefficient of restitution) in an entirely unsupervised manner. Crucially, PPNs also generalize to novel scenarios: their gradient-based training can be applied to many dynamical systems and their graph-based structure functions over systems comprised of different numbers of objects. Our results demonstrate the efficacy of graph-based neural architectures in object-centric inference and prediction tasks, and our model has the potential to discover relevant object properties in systems that are not yet well understood.

연구 동기 및 목표

• 객체 상호 작용으로부터 잠재 물리 속성의 비지도 발견을 동기 부여한다.
• 그래프 기반의 감지-예측 프레임워크를 개발하여 속성을 추론하고 동역학을 예측한다.
• 학습된 속성이 질량, 탄성계수 등 인간이 해석할 수 있는 양과 대응하는지 demonstrat한다.
• 다른 객체 수와 보지 못한 속성 범위에 걸쳐 일반화를 보인다.

제안 방법

• 관측된 다이나믹스로부터 객체별 속성 벡터를 추출하기 위해 인식 네트워크를 사용한다.
• 학습된 속성 벡터를 이용하여 미래 상태를 시뮬레이션하기 위해 예측 네트워크를 사용한다.
• 가변 객체 수와 상호 작용을 다루기 위해 Interaction Networks로 두 네트워크를 구현한다.
• 롤아웃 상태 예측을 기반으로 한 단일 예측 손실로 엔드 투 엔드로 학습한다.
• 절대 속성을 비지도 방식으로 추론하기 위해 기준 물체를 중심으로 속성 벡터를 정렬한다.

실험 결과

연구 질문

• RQ1 물체 다이나믹스에서 순수하게 비지도 방식으로 잠재 물리 속성을 발견할 수 있는가?
• RQ2 학습된 속성 벡터가 질량 및 충돌 반발 계수와 같은 인간이 해석 가능한 속성과 대응하는가?
• RQ3 학습된 표현이 서로 다른 물체 수 및 보지 못한 매개변수 범위에 일반화되는가?
• RQ4 추론된 속성을 이용한 보지 못한 물체 구성의 다이나믹스를 모델이 얼마나 정확하게 예측하는가?

주요 결과

• PPN은 학습된 속성 벡터의 PCA에서 질량, 스프링 충전, COR에 상관되는 잠재 속성을 추출한다.
• PPN은 질량의 로그 예측에서 바깥 샘플에 대한 R^2가 높으며(구슬 굴림 도메인에서 >90%), COR에서도 높다(비탄성 구에서 >68%).
• 모델은 아키텍처 변경 없이 3개, 6개, 9개 객체 테스트 세트에 일반화한다.
• LSTM-PPN 기반선은 의미 있는 잠재 속성을 학습하는 데 실패하는 반면, PPN은 여러 도메인에서 성공한다.
• PPN 롤아웃은 지상 진짜 다이나믹스에 근접하며, 단위 질량/충전 가정의 완전 롤아웃 기준선과 지상 트루 잠재 입력을 가진 GPIN 기준선을 능가한다.