[論文レビュー] Reasoning and Generalization in RL: A Tool Use Perspective

Sam Wenke, Dan Saunders+2 more|arXiv (Cornell University)|Jul 3, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 5

ひとこと要約

本論文は、動物認知における古典的実験「トラップチューブ実験」にインspiredされた強化学習（RL）ベンチマークフレームワークを提案し、道具の使用と一般化の研究を目的としている。複数のタスク変種を導入することで、エージェントの因果的・構造的・記号的推論能力を評価し、スパarsな報酬と特定のインダクティブバイアス（例：畳み込みニューラルネットワーク（CNN）、記憶メカニズム）が、多様な環境において道具の使用と一般化を学習するために不可欠であることを示している。

ABSTRACT

Learning to use tools to solve a variety of tasks is an innate ability of humans and has been observed of animals in the wild. However, the underlying mechanisms that are required to learn to use tools are abstract and widely contested in the literature. In this paper, we study tool use in the context of reinforcement learning and propose a framework for analyzing generalization inspired by a classic study of tool using behavior, the trap-tube task. Recently, it has become common in reinforcement learning to measure generalization performance on a single test set of environments. We instead propose transfers that produce multiple test sets that are used to measure specified types of generalization, inspired by abilities demonstrated by animal and human tool users. The source code to reproduce our experiments is publicly available at https://github.com/fomorians/gym_tool_use.

研究の動機と目的

• 動物認知にインspiredされた道具の使用の視点から、強化学習における一般化を評価する構造的フレームワークを開発すること。
• 現在のRLにおける道具の使用一般化の評価に、単一のテストセットに依存するため、体系的な評価プロトコルの欠如を是正すること。
• 一貫したRL設定下で、因果的・構造的・記号的推論という異なる推論能力をテストする複数のタスク変種を定義および実装すること。
• 公開コードを伴う再現可能なベンチマークを提供し、道具の使用RLエージェントにおける一般化性能の標準化された評価を可能にすること。
• スパarsな報酬設定下で、エージェントが道具の使用行動を学習し一般化するためのインダクティブバイアスの必要性を調査すること。

提案手法

• 動物認知分野の古典的実験「トラップチューブタスク」を、離散的でグリッドワールド型のRLエージェント用に適応した環境を構築する。
• 因果的（例：物体同士の相互作用）、構造的（例：物体の記憶）、記号的（例：二重表現）といった特定の推論能力を分離・測定できる複数のテスト環境を設計する。
• タスクの成功完了時のみに報酬を与えるスパarsな報酬設計を採用し、限られた監視下での探索的学習と現実世界の学習を模倣する。
• 全タスク変種の性能評価を可能にするために、プロキシマルポリシー最適化（PPO）ベースラインを採用し、将来的な手法との比較を可能にする。
• エージェントが物体の役割（例：棒を道具、チューブを制約として）とそれらの相互作用を推論することでタスクを解決するよう環境を構造化する。
• 各環境変種が異なるタイプの一般化をテストできるモジュラーな実験設定を導入し、エージェントの能力を的確に分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習における道具の使用タスクの一般化に、因果的・構造的・記号的推論のどのタイプが必要とされるか？
• RQ2 異なるインダクティブバイアス（例：CNN、記憶メカニズム）は、エージェントの道具の使用行動の学習と一般化能力にどのように影響を与えるか？
• RQ3 1つのRLフレームワークが、現実世界の道具の使用推論能力を反映する複数の明確に異なる一般化ベンチマークを同時にサポートできるか？
• RQ4 スパarsな報酬設計は、強化学習エージェントにおける道具の使用行動の出現と一般化にどのように影響するか？
• RQ5 PPOのような現在の強化学習アルゴリズムは、明示的な推論事前知識なしに、構造化された道具の使用タスクをどれほど成功に解けるか？

主な発見

• 提案されたベンチマークは、専用の環境変種を用いて、因果的・構造的・記号的推論という異なる推論タイプを明確に分離・測定できている。
• スパarsな報酬のみで訓練されたエージェントは、強力なインダクティブバイアスがなければ道具の使用行動を発見できないため、事前知識の必要性が示された。
• 畳み込みニューラルネットワーク（CNN）は、局所的な物体相互作用のための強力な知覚的事前知識を提供するが、道具の使用タスクにおける非局所的推論には不十分である。
• 構造的推論には、過去の相互作用の記憶が必要であるため、エージェントが物体間の関係を内部表現として保持する必要があることが示された。
• 記号的推論（物体の二重表現を含む）は依然として困難であり、標準的な深層RLアーキテクチャをはるかに超える特別なインダクティブバイアスが必要である可能性がある。
• ベンチマークは、公開コードを伴う再現可能なフレームワークを提供しており、RL手法間での一般化性能の体系的評価と比較を可能にしている。