[논문 리뷰] Learning Visual Predictive Models of Physics for Playing Billiards

Katerina Fragkiadaki, Pulkit Agrawal외 2명|arXiv (Cornell University)|2015. 11. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 113

한 줄 요약

이 논문은 원시 시각 입력에서 물리적 동역학을 학습하는 객체 중심 시각 예측 모델을 제안하며, 에이전트가 내부 시뮬레이션('시각적 상상')을 통해 행동을 계획할 수 있도록 한다. 고정된 뷰포인트에서의 개별 객체 궤적을 모델링함으로써 이론적 이동 불변성 예측을 달성하고, 작업 특화 지도 없이 당구 행동 계획에서 프레임 중심 기반 모델보다 뛰어난 성능을 보이며, 목표 위치를 25픽셀 이내로 정확도 56%에 도달한다.

ABSTRACT

The ability to plan and execute goal specific actions in varied, unexpected settings is a central requirement of intelligent agents. In this paper, we explore how an agent can be equipped with an internal model of the dynamics of the external world, and how it can use this model to plan novel actions by running multiple internal simulations ("visual imagination"). Our models directly process raw visual input, and use a novel object-centric prediction formulation based on visual glimpses centered on objects (fixations) to enforce translational invariance of the learned physical laws. The agent gathers training data through random interaction with a collection of different environments, and the resulting model can then be used to plan goal-directed actions in novel environments that the agent has not seen before. We demonstrate that our agent can accurately plan actions for playing a simulated billiards game, which requires pushing a ball into a target position or into collision with another ball.

연구 동기 및 목표

• 작업 특화 지도 없이, 이전에 본 적 없는 새로운 환경에서 목표 지향 행동을 계획할 수 있도록 하는 것.
• 조합적 객체 구조와 기하학적 변형을 다룰 수 있도록 원시 시각 입력에서 직접 외부 세계의 일반화된 동역학 모델을 학습하는 것.
• 물리 법칙의 이동 불변성을 객체 중심 시각 뷰포인트에서의 동역학 모델링을 통해 활용하는 것.
• 복잡한 물리적 환경에서 효과적인 계획을 위해 내부 시뮬레이션(시각적 상상)을 가능하게 하는 것.
• 작업 특화 지도나 진짜 보상 신호 없이도, 유일하게 자율 지도 학습 데이터를 사용하여 새로운 환경과 작업으로의 일반화를 보여주는 것.

제안 방법

• 모델은 각 객체의 미래 상태를 그 객체 중심의 시각 뷰포인트에서 독립적으로 모델링하는 객체 중심(OC) 예측을 사용하며, 이는 이동 불변성을 강제한다.
• 장기 기억을 유지하기 위해 시각 인코더와 함께 순환 신경망(LSTM)을 사용하여 시간 단계 간 객체 궤적의 장기적 기억을 유지한다.
• 모델은 향후 20단계 동안 각 공의 미래 속도를 예측하며, 이를 기반으로 전체 미래 세계 상태를 재구성한다.
• 행동 계획은 시각적 상상을 통해 수행되며, 여러 시뮬레이션된 행동 시퀀스를 내부적으로 실행하여 목표 지점에 가장 가까이 도달하는 力을 선택한다.
• 시스템은 다양한 당구 환경에서 무작위 상호작용을 통해 훈련되며, 명시적 보상 또는 목표 지도 없이 동역학을 학습한다.
• 계획에서 최적의 力을 효율적으로 탐색하기 위해 CMA-ES 최적화 방법을 사용한다.

실험 결과

연구 질문

• RQ1 원시 이미지에서 훈련된 시각 예측 모델이 새로운 환경으로 일반화되는 물리적 동역학을 학습할 수 있는가?
• RQ2 시각적 뷰포인트를 활용한 객체 중심 접근이, 프레임 중심 모델 대비 물리 법칙의 이동 불변성을 얼마나 잘 강제하는가?
• RQ3 학습된 동역학 기반의 시각적 상상이, 움직이는 목표 공을 때리는 것과 같은 복잡한 작업에 대해 효과적인 계획을 가능하게 하는가?
• RQ4 이러한 모델이 목표 특화 지도나 진짜 보상 신호 없이 얼마나 효과적으로 계획을 수행할 수 있는가?
• RQ5 시각적 뷰포인트에 단일 객체만 포함된 경우와 같이 높은 시각적 모호성 하에서 장기 예측 성능은 어떠한가?

주요 결과

• 객체 중심(OC) 모델은 목표 위치 25픽셀 이내로 공을 치는 데 56%의 정확도를 달성했으며, 이는 39%에 그친 프레임 중심(FC) 모델보다 뚜렷이 뛰어나다.
• OC 모델은 목표 위치 50픽셀 이내 예측 정확도 85%를 기록했고, FC 모델은 60%였다.
• LSTM의 장기 기억 덕분에, 뷰포인트가 대부분 정보가 없더라도 큰 복잡한 환경에서 공의 궤적을 성공적으로 예측했다.
• LSTM 없이 학습된 모델는 방향 전환과 같은 비물리적 운동을 보였으며, 안정적인 동역학 예측을 위해 순환 기억의 필요성을 입증했다.
• 학습 중에 본 적 없는 새로운 환경으로 일반화되었고, 목표 특화 지도 없이도 정확한 행동 계획을 수행했다.
• 내부 시뮬레이션 기반의 시각적 상상은 정적 및 동적 목표 작업 모두에서 효과적인 力 선택을 가능하게 했으며, 진짜 물리 시뮬레이터와의 비교를 통해 검증되었다.