[논문 리뷰] Learning to Perform Physics Experiments via Deep Reinforcement Learning

Misha Denil, Pulkit Agrawal외 4명|arXiv (Cornell University)|2016. 11. 06.

Reinforcement Learning in Robotics참고 문헌 32인용 수 55

한 줄 요약

이 논문은 딥 강화학습 에이전트가 시뮬레이션 환경에서 질량과 물체 수와 같은 숨겨진 물리적 성질을 추론하기 위해 물리 실험(예: 물체를 밀거나 넘어뜨리기)을 수행할 수 있음을 보여준다. 에이전트는 정보 수확량을 상호작용 비용과 균형 잡는 비용 인식형, 적응형 전략을 개발함으로써 무작위 정책을 능가한다.

ABSTRACT

When encountering novel objects, humans are able to infer a wide range of physical properties such as mass, friction and deformability by interacting with them in a goal driven way. This process of active interaction is in the same spirit as a scientist performing experiments to discover hidden facts. Recent advances in artificial intelligence have yielded machines that can achieve superhuman performance in Go, Atari, natural language processing, and complex control problems; however, it is not clear that these systems can rival the scientific intuition of even a young child. In this work we introduce a basic set of tasks that require agents to estimate properties such as mass and cohesion of objects in an interactive simulated environment where they can manipulate the objects and observe the consequences. We found that state of art deep reinforcement learning methods can learn to perform the experiments necessary to discover such hidden properties. By systematically manipulating the problem difficulty and the cost incurred by the agent for performing experiments, we found that agents learn different strategies that balance the cost of gathering information against the cost of making mistakes in different situations.

연구 동기 및 목표

• 인공 에이전트가 물리 법칙에 대한 사전 지식 없이 질량과 결합성과 같은 숨겨진 물리적 성질을 추론하기 위해 물리 실험을 수행할 수 있는지 조사하는 것.
• 정보를 수집할 때 상호작용 비용과 오류 위험 사이의 균형을 어떻게 조절하는지에 대해 탐구하는 것.
• 정확성과 효율성 측면에서 랜덤화된 기준과 비교해 학습된 실험 전략을 평가하는 것.
• 에이전트가 실험 도중 시간에 따라 변화하는 환경 피드백에 적응하는 적응형, 피드백 루프 정책을 개발할 수 있는지 평가하는 것.
• 수동 관찰이 아닌 능동적 상호작용을 통해 인공 에이전트가 물리적 표현을 학습하는 데의 가능성을 검토하는 것.

제안 방법

• 에이전트는 '무엇이 무겁한가'에서 질량 추정을 위한, '타워'에서 물체 수를 세는 데 쓰이는 두 가지 시뮬레이션 환경에서 딥 강화학습을 통해 훈련된다.
• 에이전트는 힘을 가함(예: 밀기, 두드리기)을 통해 물체와 상호작용하고, 그에 따른 운동 반응을 관찰함으로써 숨겨진 물리적 성질을 추론한다.
• 정확한 예측을 장려하고 잘못된 답변 및 과도한 상호작용 비용에 대해 벌점을 주는 보상 신호가 설계된다.
• 정책 네트워크는 관찰(예: 시각적 상태, 운동)에서 장기 보상을 최대화하는 행동으로 매핑하는 데 있어 엔드 투 엔드로 훈련된다.
• 환경은 강체 역학 엔진을 사용해 실제적인 물리적 반응을 시뮬레이션함으로써 현실성 있는 물리적 반응을 보장한다.
• 이 접근법은 물리 법칙이나 물체 성질에 대한 사전 지식을 가정하지 않으며, 에이전트가 상호작용을 통해 이를 스스로 발견하도록 요구한다.

실험 결과

연구 질문

• RQ1 에이전트는 물리 법칙에 대한 사전 지식 없이 질량과 결합성과 같은 숨겨진 성질을 추론하기 위해 물리 실험을 수행할 수 있는가?
• RQ2 다양한 실험 환경에서 상호작용 비용과 잘못된 추론의 위험 사이의 균형을 에이전트는 어떻게 조절하는가?
• RQ3 학습된 실험 전략은 정확성과 효율성 측면에서 랜덤화된 상호작용 전략을 능가하는가?
• RQ4 에이전트는 시간에 따라 변화하는 물리적 상호작용의 역동성에 적응하는 적응형 피드백 루프 정책을 개발할 수 있는가?
• RQ5 에이전트가 능동적 실험을 통해 물리적 성질을 추론하도록 훈련될 때 어떤 종류의 상호작용 전략이 나타나는가?

주요 결과

• 딥 강화학습을 통해 훈련된 에이전트는 블록을 밀거나 타워를 넘어뜨리는 등의 타겟팅된 물리 실험을 수행함으로써 효과적으로 숨겨진 물리적 성질을 드러내는 전략을 습득했다.
• '무엇이 무겁한가' 작업에서는 최적 알고리즘과 유사한 전략(예: 간접적으로 질량을 비교하기 위해 제어된 힘을 가함)을 개발했다.
• '타워' 환경에서는 다양한 시간 척도의 물체 붕괴에 적응하는 피드백 루프 정책을 학습하여 시간적 추론 능력을 보였다.
• 학습된 정책은 일반적으로 수렴하기까지 상호작용 횟수를 줄이며, 무작위 기준보다 더 높은 예측 정확도를 달성했다.
• 에이전트는 정보 수확량과 상호작용 비용을 균형 잡는 법을 학습했으며, 과제 난이도와 불확실성에 따라 전략을 적응적으로 조정했다.
• 결과적으로, 상호작용을 통한 능동적 실험은 인공 에이전트가 물리적 표현을 학습하는 데 실현 가능한 길임을 시사한다.