[論文レビュー] Hierarchical principles of embodied reinforcement learning: A review

Manfred Eppe, Christian Gumbsch+4 more|arXiv (Cornell University)|Dec 18, 2020

Child and Animal Learning Development参考文献 128被引用数 5

ひとこと要約

この論文は、コウノトリや霊長類、イカのようないずれの知能的動物でもゼロショット問題解決を可能にする認知的メカニズム——合成的抽象化、フォワードモデル、好奇心、心的シミュレーション——を、計算的HRL手法と結びつけて、階層的強化学習（HRL）をレビューしている。研究では、キーメカニズムは個別に存在しているが、統合されていないことが判明し、人工エージェントが動物並みのゼロショット問題解決性能を達成するためには、これらのメカニズムを統合することが不可欠であると提言している。

ABSTRACT

Cognitive Psychology and related disciplines have identified several critical mechanisms that enable intelligent biological agents to learn to solve complex problems. There exists pressing evidence that the cognitive mechanisms that enable problem-solving skills in these species build on hierarchical mental representations. Among the most promising computational approaches to provide comparable learning-based problem-solving abilities for artificial agents and robots is hierarchical reinforcement learning. However, so far the existing computational approaches have not been able to equip artificial agents with problem-solving abilities that are comparable to intelligent animals, including human and non-human primates, crows, or octopuses. Here, we first survey the literature in Cognitive Psychology, and related disciplines, and find that many important mental mechanisms involve compositional abstraction, curiosity, and forward models. We then relate these insights with contemporary hierarchical reinforcement learning methods, and identify the key machine intelligence approaches that realise these mechanisms. As our main result, we show that all important cognitive mechanisms have been implemented independently in isolated computational architectures, and there is simply a lack of approaches that integrate them appropriately. We expect our results to guide the development of more sophisticated cognitively inspired hierarchical methods, so that future artificial agents achieve a problem-solving performance on the level of intelligent animals.

研究の動機と目的

• コウノトリ、霊長類、イカのようないずれの知能的動物でもゼロショット問題解決を可能にする認知的メカニズムを特定すること。
• 現在の階層的強化学習（HRL）手法が、これらの認知的メカニズムを実装しているかどうかを分析すること。
• 現在のHRLアプローチにおける深刻な欠陥、特に統合されたフォワードモデル、合成的抽象化、内的動機付けの欠如を特定すること。
• 動物並みの知能的エージェントを構築するためのツールは既に存在するが、それらを包括的かつ統合的に組み合わせる必要があると提言すること。
• 今後の研究が、より認知的にインspiredされた階層的強化学習システムの開発に向けて導かれるようにすること。

提案手法

• 認知心理学および動物認知分野の文献を上位から下位に調査し、階層的問題解決に不可欠なコアメカニズムを抽出する。
• これらの認知的メカニズム——合成的抽象化、フォワードモデル、内的動機付け（好奇心／多様性）、心的シミュレーション——を計算的HRLフレームワークにマッピングする。
• 2015年から2020年の間の37件の最近のRLレビュー論文と117のHRLアーキテクチャを体系的にレビューし、これらのメカニズムの実装状況を評価する。
• 既存のHRLシステムにおけるキーメカニズム（例：フォワードモデル、合成的表現）の孤立した実装を特定・分析する。
• 表形式分析（表1）を用いて、フォワードモデル、状態抽象化、行動抽象化、内的動機付け、心的シミュレーションの各次元でHRL手法を比較する。
• 大多数のHRL手法がモデルフリーであり、合成的抽象化を欠き、複数の認知的メカニズムを統合していないことを強調する。

実験結果

リサーチクエスチョン

• RQ1 コウノトリや霊長類のような知能的動物がゼロショット問題解決を可能にする認知的メカニズムは何か？
• RQ2 現在の階層的強化学習手法が、これらの認知的メカニズムをどの程度実装しているか？
• RQ3 理論的には有望であるにもかかわらず、なぜ既存のHRLアプローチは動物並みの問題解決パフォーマンスを達成できないのか？
• RQ4 フォワードモデル、合成的抽象化、または内的動機付けといった、どのような主要な要素が、現在のHRLシステムにおいて欠落しているか、あるいは不足しているか？
• RQ5 個別に存在する既存のメカニズムを統合すれば、人間や動物並みの少しだけの例で問題解決が可能な人工エージェントを構築できるか？

主な発見

• 2015年から2020年の間の37件の最近のRLレビュー論文のうち、抽象文に「hierarchic」という語を含むのはわずか2件にとどまり、広範な文献において階層的アプローチへの関心が極めて低いことが示唆されている。
• サトゥンとバートンのRL教科書第2版では、階層的構造がたった2ページにしか取り上げられておらず、主に時代遅れのオプションフレームワーク内に限定されていることから、主流のRL理論においても階層的構造の統合が著しく限定的であることがうかがえる。
• 多くのHRL手法がモデルフリーであり、予測的フォワードモデルを組み込まず、認知的根拠では計画と抽象化においてその重要性が強く示唆されているにもかかわらず、そのようなモデルが欠落している。
• 合成的抽象化はほとんどサポートされていない：少数の手法を除き、行動表現に自然言語や記号論理を用いるが、それらの表現を感覚運動的経験にしっかりと根拠づけたものは存在しない。
• 状態抽象化は著しく研究が不足している：多くの階層的アクターキャリブレーション手法では、すべての階層レベルで同じ状態表現が使用されており、抽象化が行われていない。
• 内的動機付け機構、特に好奇心と多様性はHRLにおいては不足しているが、生物学的エージェントにおける認知的探求の駆動要因としてその役割が明確に裏付けられている。