[논문 리뷰] The Tools Challenge: Rapid Trial-and-Error Learning in Physical Problem Solving.

Kelsey R. Allen, Kevin A. Smith외 1명|arXiv (Cornell University)|2019. 07. 25.

Reinforcement Learning in Robotics참고 문헌 36인용 수 8

한 줄 요약

이 논문은 인간의 빠른 시도-오류 학습을 요구하는 동적인 물리적 추론 과제인 Tools 게임을 소개한다. 이는 세계 지식, 정신적 시뮬레이션, 신념 갱신에 기반한 샘플링, 시뮬레이션, 업데이트(이하 SSUP) 프레임워크를 제안하며, 20개의 레벨에서 인간 성능을 모델링하는 데 있어 딥 강화학습과 온라인 시뮬레이터 학습보다 뛰어난 성능을 보인다.

ABSTRACT

Many animals, and an increasing number of artificial agents, display sophisticated capabilities to perceive and manipulate objects. But human beings remain distinctive in their capacity for flexible, creative tool use -- using objects in new ways to act on the world, achieve a goal, or solve a problem. Here we introduce the game, a simple but challenging domain for studying this behavior in human and artificial agents. Players place objects in a dynamic scene to accomplish a goal that can only be achieved if those objects interact with other scene elements in appropriate ways: for instance, launching, blocking, supporting or tipping them. Only a few attempts are permitted, requiring rapid trial-and-error learning if a solution is not found at first. We propose a Sample, Simulate, Update (SSUP) framework for modeling how people solve these challenges, based on exploiting rich world knowledge to sample actions that would lead to successful outcomes, simulate candidate actions before trying them out, and update beliefs about which tools and actions are best in a rapid learning loop. SSUP captures human performance well across 20 levels of the Tools game, and fits significantly better than alternate accounts based on deep reinforcement learning or learning the simulator parameters online. We discuss how the Tools challenge might guide the development of better physical reasoning agents in AI, as well as better accounts of human physical reasoning and tool use.

연구 동기 및 목표

• 새로운 물리적 문제 해결 게임을 통해 인간과 인공 에이전트의 빠른 창의적 도구 사용을 연구하기 위해.
• 제한된 시도 횟수로도 동적인 물리 환경에서의 신속한 학습을 가능하게 하는 인지 메커니즘을 규명하기 위해.
• 빠른 적응과 통찰을 반영하는 인간과 유사한 물리적 추론의 계산 모델을 개발하고 검증하기 위해.
• 지능형 물리적 추론 에이전트의 설계를 가이드하기 위해, 융통성 있고 지식 기반의 문제 해결 방식을 모델링하기 위해.

제안 방법

• 세계 지식에 기반해 행동을 샘플링하는 방식의 샘플링, 시뮬레이션, 업데이트(이하 SSUP) 프레임워크를 제안한다.
• 실행 전 후보 행동의 결과를 정신적 시뮬레이션으로 예측하여 실제 세계에서의 시도-오류를 줄인다.
• 실패나 성공한 시도의 피드백을 통해 효과적인 도구와 행동에 대한 신념을 갱신한다.
• 행동 샘플링을 지시하는 데 구조화된 세계 지식을 활용하여 타당하고 효과적인 간섭을 우선순위에 두며.
• 동적인 환경에서 물체와 시나리오 요소 간의 상호작용을 시뮬레이션하여 인간 성능을 모델링한다.
• 딥 강화학습과 온라인 시뮬레이터 파rameter 학습을 대안적 모델링 접근법으로 비교한다.

실험 결과

연구 질문

• RQ1 인간은 동적인 환경에서 제한된 시도로 어떻게 새로운 물리적 도구 사용 문제를 신속히 해결하는가?
• RQ2 물리적 추론 과제에서의 신속한 시도-오류 학습을 가능하게 하는 인지 메커니즘은 무엇인가?
• RQ3 샘플링, 시뮬레이션, 신념 갱신에 기반한 모델이 딥 강화학습보다 인간 성능을 더 잘 설명할 수 있는가?
• RQ4 세계 지식은 물리적 문제 해결의 효율성과 성공에 어떤 영향을 미치는가?
• RQ5 정신적 시뮬레이션은 도구 사용 과제에서 요구되는 시도 수를 줄이는 데 어떤 역할을 하는가?

주요 결과

• SSUP 프레임워크는 Tools 게임의 20개 레벨에서 인간 성능을 높은 정확도로 반영한다.
• SSUP는 인간 행동 데이터에 대한 피팅에서 딥 강화학습 모델보다 유의미하게 뛰어난 성능을 보인다.
• 온라인 시뮬레이터 파rameter 학습 모델보다도 SSUP가 더 잘 맞는 것으로 나타나, 사전 세계 지식의 중요성을 시사한다.
• 모델이 정신적 시뮬레이션에 의존함으로써 실제 세계에서의 시도 수가 줄어들어 인간의 학습 효율성과 유사해진다.
• 인간 참가자들은 적은 수의 시도로 Tools 게임에서 성공을 거두며, 세계 지식과 예측의 효과적인 사용을 보여준다.
• 결과적으로 세계 지식과 시뮬레이션은 물리적 문제 해결에서의 신속하고 창의적인 도구 사용에 핵심적인 역할을 한다.