[論文レビュー] Open the Chests: An Environment for Activity Recognition and Sequential Decision Problems Using Temporal Logic

Benjamin Beyret, José Hernández‐Orallo+4 more|arXiv (Cornell University)|Sep 12, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 35

ひとこと要約

本論文では、物体恒常性、因果的推論、空間的推論などの動物に似た認知能力を評価することを目的とした、物理ベースでオープンソースのプラットフォーム「Animal-AI環境」を紹介する。比較心理学をインspirationとして、時間論理と物理シミュレーションに基づく構造化されたタスクを用い、一般化能力と理解度をテストする。10の認知カテゴリーにわたり、40%前後の最先端AIパフォーマンスを達成した。

ABSTRACT

Recent advances in artificial intelligence have been strongly driven by the use of game environments for training and evaluating agents. Games are often accessible and versatile, with well-defined state-transitions and goals allowing for intensive training and experimentation. However, agents trained in a particular environment are usually tested on the same or slightly varied distributions, and solutions do not necessarily imply any understanding. If we want AI systems that can model and understand their environment, we need environments that explicitly test for this. Inspired by the extensive literature on animal cognition, we present an environment that keeps all the positive elements of standard gaming environments, but is explicitly designed for the testing of animal-like artificial cognition.

研究の動機と目的

• AI分野における能力指向のベンチマークの欠如に応えるために、タスク特化型のパフォーマンスだけでなく、一般化能力と理解度を評価するためのテストベッドを構築すること。
• 比較心理学における確立された実験パラダイムを応用することで、AI評価と動物認知研究のギャップを埋めること。
• パターン認識よりも認知的推論、物理的理解、長期記憶に重点を置いたトレーニングおよびテスト環境を設計すること。
• 統一的でモジュラーなフレームワークを用いて、多様な認知スキルをカバーするスケーラブルでオープンなプラットフォームを提供すること。
• 認知能力の分離を可能にするため、AIと比較認知研究のコミュニティ間の協力を促進すること。

提案手法

• 決定論的な状態遷移関数を持つ物理シミュレーターベースのエンジンで構築されており、再現可能で複雑な相互作用を可能にしている。
• 報酬（餌）、ブロック、障害物などを含む7種類のオブジェクトクラスを備えており、多様な認知タスクの構築を可能にしている。
• 10の認知カテゴリー（例：好み、物体恒常性、因果的推論）に分類されたタスクが用意されており、それぞれが異なる認知能力をテストする。
• 動物が解けるが、現在のAIには難しいタスクを設計し、ゴール条件を時間論理で定義している。
• 再トレーニングを許可しない状態で、未確認のタスク変種に対してゼロショット一般化を可能にする。
• Animal-AIオリンピック競技会では、このテストベッドを用いて10のカテゴリーすべてでエージェントを評価し、単一のスコアを超えるパフォーマンスプロファイルを生成している。

実験結果

リサーチクエスチョン

• RQ1 直感的物理法則、物体恒常性、因果的推論を要するタスクにおいて、AIエージェントは動物認知で観察される水準のパフォーマンスを達成できるか？
• RQ2 再トレーニングなしに、同一ではない多様な認知タスクの間で、1つのエージェントがどの程度一般化できるか？
• RQ3 現在のディープ強化学習手法は、タスク指向のベンチマークと比較して、能力指向のベンチマークではどの程度のパフォーマンスを示すか？
• RQ4 構造的で心理学的インスピレーションを受けるタスクは、現在のAIの一般化および推論能力における根本的限界を明らかにできるか？
• RQ5 モジュラーで多カテゴリーなベンチマークを通じて、エージェントの認知プロファイルをどのように達成できるか？

主な発見

• Animal-AIテストベッドにおける現在の最先端AIパフォーマンスは約40%であり、認知一般化の分野で大幅な改善余地があることを示している。
• ナビゲーションベースおよび報酬選択タスクは解きやすく、一部のケースでは80%に近いパフォーマンスを示しており、従来の強化学習の強みと整合している。
• 内部世界モデルの構築、物体恒常性、因果的推論を要するタスクは著しく難易度が高く、最も複雑なバージョンでは30%未満のパフォーマンスにとどまっている。
• 上位エージェントのレーダープロットでは、カテゴリーごとのパフォーマンス格差が明確に現れており、好みや障害物タスクでは高いパフォーマンスを示すが、内部モデルや因果的推論では弱いパフォーマンスを示している。
• このプラットフォームは、標準のDRLベンチマークで訓練されたエージェントが、長期記憶や物理的推論を要するタスクに一般化できないことを明確に特定した。
• 結果から、現在のAIシステムは環境の強固な内部モデルを欠き、見えない状態や未知の状態についての推論に苦労しており、動物認知における既知の限界と類似していることが示唆された。