[논문 리뷰] Intrinsic Motivation Driven Intuitive Physics Learning using Deep Reinforcement Learning with Intrinsic Reward Normalization

Jaewon Choi, Sung‐Eui Yoon|arXiv (Cornell University)|2019. 07. 06.

Human Pose and Action Recognition참고 문헌 23인용 수 4

한 줄 요약

이 논문은 내재적 보상 정규화를 갖춘 딥 강화학습 프레임워크를 제안하여 에이전트가 자기주도적인 상호작용을 통해 직관적 물리학을 자율적으로 학습할 수 있도록 한다. 예측 오차를 바탕으로 물체 역학을 예측하고 내재적 보상을 생성하는 그래픽스 물리 네트워크를 사용함으로써, 에이전트는 물체의 위치와 속도를 높은 정확도로 예측하면서도 다양한 동작을 효율적으로 탐색한다.

ABSTRACT

At an early age, human infants are able to learn and build a model of the world very quickly by constantly observing and interacting with objects around them. One of the most fundamental intuitions human infants acquire is intuitive physics. Human infants learn and develop these models, which later serve as prior knowledge for further learning. Inspired by such behaviors exhibited by human infants, we introduce a graphical physics network integrated with deep reinforcement learning. Specifically, we introduce an intrinsic reward normalization method that allows our agent to efficiently choose actions that can improve its intuitive physics model the most. Using a 3D physics engine, we show that our graphical physics network is able to infer object's positions and velocities very effectively, and our deep reinforcement learning network encourages an agent to improve its model by making it continuously interact with objects only using intrinsic motivation. We experiment our model in both stationary and non-stationary state problems and show benefits of our approach in terms of the number of different actions the agent performs and the accuracy of agent's intuition model. Videos are at https://www.youtube.com/watch?v=pDbByp91r3M&t=2s

연구 동기 및 목표

• 인간 유아의 자율적 탐색을 모방하여 내재적 동기부여를 통해 직관적 물리학을 학습하는 에이전트를 개발하기 위해.
• 예측 오차를 내재적 보상 신호로 사용하여 물리학 학습에서 효율적 탐색의 과제를 해결하기 위해.
• 구조화된 그래픽스 물리 네트워크를 사용하여 물체 궤적과 물리 상태를 예측할 수 있는 에이전트의 능력을 향상시키기 위해.
• 직관적 물리 모델을 사전 학습시켜 향후 학습에 활용할 수 있는 이식 가능한 사전 지식을 제공하기 위해.

제안 방법

• 에이전트는 물체를 노드로, 물리적 관계를 간선으로 하는 그래픽스 물리 네트워크를 사용하여 물체 상태를 위치, 속도, 크기, 질량로 표현한다.
• 관계 인코더는 물체의 특징에 기반해 방향성 있는 쌍방향 관계를 계산하며, 이러한 관계의 합이 물체의 관계 임베딩을 형성한다.
• 물리 모델이 향후 물체 상태를 예측하는 데 실패한 오차를 기반으로 내재적 보상이 생성되며, 이 오차는 학습을 안정화시키기 위해 정규화된다.
• 정규화된 내재적 보상은 딥 Q-네트워크 액터-크리틱 프레임워크에 입력되어 탐색과 정책 학습을 이끈다.
• 에이전트는 3차원 물리 시뮬레이터에서 동작을 수행하고 결과를 관찰하며, 예측 오차를 학습 신호로 사용해 내부 모델을 업데이트한다.
• 높은 예측 오차를 유도하는 동작을 우선시함으로써 다양한 동작의 탐색을 장려함으로써, 에이전트의 직관적 물리학 모델 향상에 기여한다.

실험 결과

연구 질문

• RQ1 예측 오차에 기반한 내재적 동기부여가 직관적 물리학 모델 향상에 기여하는 동작을 효과적으로 탐색하도록 이끌 수 있는가?
• RQ2 복잡한 3차원 물리 환경에서 그래픽스 물리 네트워크가 물체의 위치와 속도를 얼마나 정확하게 예측할 수 있는가?
• RQ3 내재적 보상 정규화가 기존의 내재적 호기심 방법에 비해 더 효율적이고 다양한 탐색을 이끌 수 있는가?
• RQ4 학습된 직관적 물리학 모델이 다양한 수의 물체와 물리적 구성에 대해 일반화 가능한가?

주요 결과

• 에이전트는 물체의 위치와 속도 예측에서 높은 정확도를 달성했으며, 최대 8개의 물체가 있는 시나리오에서도 평균 예측 오차가 낮게 유지되었다.
• 정적 및 비정적 환경 모두에서 안정적인 성능을 보였으며, 단기 예측(≤4 프레임)에서는 오차가 최소한이었다.
• 장기 예측(>4 프레임)에서는 예측 오차가 크게 증가하여 장기 예측에서 누적 오차가 축적됨을 시사했다.
• 에이전트는 다양한 동작을 수행하여 내재적 동기부여와 보상 정규화에 의해 효과적으로 탐색된 것으로 나타났다.
• 그래픽스 물리 네트워크는 물체 간 물리적 관계를 성공적으로 포착하여 복잡한 구성에서도 정확한 궤적 예측을 가능케 했다.
• 내재적 보상 정규화 방법은 학습 안정성과 탐색 효율성을 향상시켜 더 빠른 모델 향상에 기여했다.