[論文レビュー] The Tools Challenge: Rapid Trial-and-Error Learning in Physical Problem Solving.

Kelsey R. Allen, Kevin A. Smith+1 more|arXiv (Cornell University)|Jul 25, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 8

ひとこと要約

本論文は、新規の道具使用問題を解くために迅速な試行錯誤学習を要する動的物理推論課題「Tools game」を紹介する。また、世界知識、心的シミュレーション、信念更新に裏打ちされた、サンプル・シミュレート・アップデート（SSUP）フレームワークを提案する。このフレームワークは、20レベルにわたる人間のパフォーマンスをモデル化する際、深層強化学習やオンラインシミュレータ学習を上回る性能を発揮する。

ABSTRACT

Many animals, and an increasing number of artificial agents, display sophisticated capabilities to perceive and manipulate objects. But human beings remain distinctive in their capacity for flexible, creative tool use -- using objects in new ways to act on the world, achieve a goal, or solve a problem. Here we introduce the game, a simple but challenging domain for studying this behavior in human and artificial agents. Players place objects in a dynamic scene to accomplish a goal that can only be achieved if those objects interact with other scene elements in appropriate ways: for instance, launching, blocking, supporting or tipping them. Only a few attempts are permitted, requiring rapid trial-and-error learning if a solution is not found at first. We propose a Sample, Simulate, Update (SSUP) framework for modeling how people solve these challenges, based on exploiting rich world knowledge to sample actions that would lead to successful outcomes, simulate candidate actions before trying them out, and update beliefs about which tools and actions are best in a rapid learning loop. SSUP captures human performance well across 20 levels of the Tools game, and fits significantly better than alternate accounts based on deep reinforcement learning or learning the simulator parameters online. We discuss how the Tools challenge might guide the development of better physical reasoning agents in AI, as well as better accounts of human physical reasoning and tool use.

研究の動機と目的

• 新規の物理的問題解決ゲームを通じて、人間および人工エージェントにおける迅速で創造的な道具使用を研究すること。
• 限られた試行回数での動的物理環境における迅速な学習の背後にある認知的メカニズムを特定すること。
• 迅速な適応とインサイトを捉える人間らしく物理的推論を再現する計算モデルの開発と検証すること。
• 柔軟で知識に基づいた問題解決を模倣することで、AIにおけるより人間らしく物理的推論を行うエージェントの設計を支援すること。

提案手法

• エージェントが世界知識に基づいて行動をサンプリングする、サンプル・シミュレート・アップデート（SSUP）フレームワークを提案する。
• 実行前に候補となる行動の結果を心的シミュレーションで予測することで、現実世界の試行錯誤を削減する。
• 失敗または成功のフィードバックを通じて、効果的な道具や行動に関する信念を更新する。
• 構造的な世界知識を活用して、妥当で効果的な干渉を優先する行動のサンプリングを支援する。
• 動的環境における物体とシーン要因の相互作用をシミュレートすることで、人間のパフォーマンスをモデル化する。
• SSUPを深層強化学習やオンラインシミュレータパrameter学習という代替アプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 人間は、動的環境において限られた試行回数で、どのように新規の道具使用問題を迅速に解くのか？
• RQ2 物理的推論タスクにおける迅速な試行錯誤学習の背後にある認知的メカニズムは何か？
• RQ3 サンプリング、シミュレーション、信念更新に基づくモデルは、深層強化学習に比べて人間のパフォーマンスをよりよく説明できるか？
• RQ4 世界知識は、物理的問題解決の効率性と成功にどのように影響するか？
• RQ5 心的シミュレーションは、道具使用タスクにおける必要な試行回数をどのように削減するか？

主な発見

• SSUPフレームワークは、Tools gameの20レベルすべてにおいて人間のパフォーマンスを高い精度で捉えている。
• SSUPは、人間の行動データへのフィットにおいて、深層強化学習モデルを顕著に上回っている。
• オンラインでシミュレータパrameterを学習するモデルよりもSSUPがフィットが良いことから、事前の世界知識の重要性が示された。
• モデルが心的シミュレーションに依存することで、現実世界での試行回数が削減され、人間の学習効率と類似している。
• 人間の参加者は少ない試行回数でTools gameに成功しており、世界知識の効果的な使用と予測の重要性が示唆されている。
• 結果から、世界知識とシミュレーションは、物理的問題解決における迅速で創造的な道具使用にとって不可欠であることが示唆された。