[논문 리뷰] Object-Oriented Dynamics Predictor

Guangxiang Zhu, Zhiao Huang외 1명|arXiv (Cornell University)|2018. 05. 25.

Reinforcement Learning in Robotics인용 수 18

한 줄 요약

이 논문은 객체 기반 동역학 예측기(Object-Oriented Dynamics Predictor, OODP)를 제안한다. OODP는 엔드 투 엔드로 작동하며, 비지도 학습 기반의 신경망으로, 환경을 객체로 분해하고, 클래스별로 설계된 CNN 기반의 객체 간 관계를 사용해 동작 조건에 따른 동역학을 예측한다. OODP는 새로운 객체 레이아웃과 외관에 대해 뛰어난 일반화 성능을 보이며, 기존 방법들보다 제로샷 일반화 성능에서 뛰어나며, 의미적으로 해석 가능한 동역학 모델을 학습한다.

ABSTRACT

Generalization has been one of the major challenges for learning dynamics models in model-based reinforcement learning. However, previous work on action-conditioned dynamics prediction focuses on learning the pixel-level motion and thus does not generalize well to novel environments with different object layouts. In this paper, we present a novel object-oriented framework, called object-oriented dynamics predictor (OODP), which decomposes the environment into objects and predicts the dynamics of objects conditioned on both actions and object-to-object relations. It is an end-to-end neural network and can be trained in an unsupervised manner. To enable the generalization ability of dynamics learning, we design a novel CNN-based relation mechanism that is class-specific (rather than object-specific) and exploits the locality principle. Empirical results show that OODP significantly outperforms previous methods in terms of generalization over novel environments with various object layouts. OODP is able to learn from very few environments and accurately predict dynamics in a large number of unseen environments. In addition, OODP learns semantically and visually interpretable dynamics models.

연구 동기 및 목표

• 다른 객체 레이아웃을 가진 새로운 환경에서 픽셀 수준의 동역학 모델이 낮은 일반화 성능을 보이는 문제를 해결하기 위해.
• 동작과 객체 간 상호관계에 조건화된 엔드 투 엔드 비지도 학습 기반의 객체 수준 동역학을 가능하게 하기 위해.
• 일반화성과 해석 가능성 향상을 위해 국소성 원리를 활용하는 클래스별 관계 메커니즘을 설계하기 위해.
• 새로운 환경에서도 일반화 가능한 의미적이고 시각적으로 해석 가능한 동역학 모델을 학습하기 위해.
• 실제 자연 이미지 입력, 예를 들어 화성 탐사선 주행 시나리오와 같은 환경에서도 안정적인 성능을 유지할 수 있도록 하기 위해.

제안 방법

• OODP는 자기지도 학습 기반의 엔드 투 엔드 신경망을 사용하여 객체 검출기를 통해 시각적 관측치를 객체로 분해한다.
• 객체 기반 벡터가 아닌 클래스별로 설계된 객체 마스크를 구성하는 새로운 CNN 기반의 관계 메커니즘을 도입하여, 객체 인스턴스 간의 일반화를 가능하게 한다.
• 이 관계 메커니즘은 이웃 영역을 자르고 CNN을 활용해 국소성 원리를 적용하여 객체 간의 공간적 상호작용을 모델링한다.
• 공간 변환망(Spatial Transformer Network, STN)을 사용해 동작과 학습된 객체 간 관계에 조건화된 객체 수준의 동역학을 예측한다.
• 명시적인 객체 애너테이션 없이 미래 프레임의 재구성 손실을 사용해 비지도 학습 방식으로 모델을 훈련한다.
• 객체 검출, 관계 모델링, 동역학 예측을 통합된 아키텍처에서 수행함으로써 인식과 동역학의 공동 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 비지도 신경망이 새로운 객체 레이아웃에 대해 일반화 가능한 동역학 모델을 학습할 수 있는가?
• RQ2 클래스별로 설계된 국소성 인식 관계 메커니즘이 동역학 예측의 일반화에 어떻게 기여하는가?
• RQ3 객체 중심의 동역학 학습이 의미적이고 시각적으로 해석 가능한 모델을 도출할 수 있는가?
• RQ4 모델이 다른 객체 외형과 레이아웃을 가진 환경으로 얼마나 잘 일반화되는가?
• RQ5 모델은 실제 자연 이미지 입력, 예를 들어 화성 탐사선 주행 시나리오와 같은 환경에서도 처리할 수 있는가?

주요 결과

• OODP는 새로운 객체 레이아웃(S0-S6)에 대한 5에서 10으로의 일반화에서 94% 정확도와 0.28 RMSE를 기록하여 기존 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 화성 탐사선 주행 도메인에서 OODP는 미리보지 않은 환경에서 92% 정확도(n-error)를 기록했으며, CDNA는 75%, AC 모델은 12%에 그쳤다.
• OODP는 훈련 데이터와 다른 객체 외형 조건에서도 높은 성능(정확도 > 0.88)을 유지하여 외형 변화에 대한 강건성을 입증했다.
• 학습된 마스크의 시각화 결과에서 OODP는 새로운 환경에서도 핵심 객체와 그 관계를 성공적으로 식별함으로써 객체 수준 지식의 재사용이 가능함을 보였다.
• 장면을 의미 있는 객체와 관계로 분해함으로써 모델은 해석 가능한 동역학을 학습했으며, 공간적 어텐션은 관련된 움직이는 객체와 정적 객체에 집중되어 있었다.
• OODP는 매우 적은 수의 훈련 환경에서부터도 효과적으로 일반화하여, 수많은 새로운 환경에서 동역학을 정확히 예측할 수 있었다.