[論文レビュー] A Definition of Open-Ended Learning Problems for Goal-Conditioned Agents

Olivier Sigaud, Gianluca Baldassarre+6 more|arXiv (Cornell University)|Nov 1, 2023

Reinforcement Learning in Robotics参考文献 58被引用数 4

ひとこと要約

本稿は、観察者視点における無限時間にわたる新しい目標、オプション、報酬関数の継続的生成という核心的性質を抽出することで、目的条件付きエージェントにおけるオープンエンドドラーニング（OEL）の形式的定義を提示する。オープンエンドドGCRL問題を導入し、エージェントが時間経過とともに新しい目標を発見・習得する能力に基づいて評価するフレームワークを確立することで、OELを継続的学習や生涯学習などの関連概念と区別する。

ABSTRACT

A lot of recent machine learning research papers have ``open-ended learning'' in their title. But very few of them attempt to define what they mean when using the term. Even worse, when looking more closely there seems to be no consensus on what distinguishes open-ended learning from related concepts such as continual learning, lifelong learning or autotelic learning. In this paper, we contribute to fixing this situation. After illustrating the genealogy of the concept and more recent perspectives about what it truly means, we outline that open-ended learning is generally conceived as a composite notion encompassing a set of diverse properties. In contrast with previous approaches, we propose to isolate a key elementary property of open-ended processes, which is to produce elements from time to time (e.g., observations, options, reward functions, and goals), over an infinite horizon, that are considered novel from an observer's perspective. From there, we build the notion of open-ended learning problems and focus in particular on the subset of open-ended goal-conditioned reinforcement learning problems in which agents can learn a growing repertoire of goal-driven skills. Finally, we highlight the work that remains to be performed to fill the gap between our elementary definition and the more involved notions of open-ended learning that developmental AI researchers may have in mind.

研究の動機と目的

• 機械学習分野におけるOELに関する急速に増加する文献において、合意形成の欠如と形式的定義の不在に対処すること。
• OELの核心的で基本的な性質を特定すること：観察者視点から見た無限時間にわたる、新しい要素（例：目標、オプション）の生成。
• 目的条件付き強化学習（GCRL）の文脈に特化して、オープンエンドドラーニング問題を定義すること。
• 継続的学習、生涯学習、自己目的学習などの関連概念と、体系的なフレームワークを通じて区別すること。
• スキル習得の発達的軌跡を捉えるための未解決の研究方向を同定すること。これには、表現再記述や抽象化が含まれる。

提案手法

• 本稿は、エージェントが無限時間にわたって、外部の観察者視点から評価される新規要素（例：目標、オプション、報酬関数）を生成するという核心的性質によってOELを定義する。
• エージェントが2段階で学習するオープンエンドドGCRL問題を導入する：外部からの指導なしの内部的段階、その後に環境のタスク空間からランダムに抽出されたタスクを用いた外部的段階。
• 外部的段階でのパフォーマンスを、内部的段階における知識獲得能力の代理指標として用いる。これは、エージェントが未観測のタスクにどれほどうまく一般化できるかを測定する。
• OELエージェントの評価には、時間経過に伴う新規目標発見の割合を追跡することを提案する。漸近的収束が見られる場合は、OELの性質を有しないと判断される。
• 異なる内部的カリキュラムに従うエージェントを公平に比較できるよう、外部的段階で共通のタスクセットを用いることを提唱する。これにより、OELエージェント間でのパフォーマンス比較が可能になる。
• フレームワークは、発達的学習を反映させるために、新規性生成に加え、スキルの抽象化、表現再記述、創造性といった追加的能力を統合する必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 自律エージェントにおけるオープンエンドドラーニングを特徴づける根本的で基本的な性質とは何か？
• RQ2 目的条件付き強化学習の文脈において、オープンエンドドラーニング問題を形式的に定義する方法は何か？
• RQ3 オープンエンドドラーニングは、継続的学習、生涯学習、自己目的学習といった関連概念とどのように異なるか？
• RQ4 異なる内部的カリキュラムに従うOELエージェントのパフォーマンスを公平に評価する方法は何か？
• RQ5 新規性生成を超えて、OELエージェントがスキル習得の発達的軌跡を捉えるために必要な追加的能力は何か？

主な発見

• オープンエンドドラーニングの核心的性質は、観察者視点から見た無限時間にわたる、新しい要素（例：目標、オプション、報酬関数）の継続的生成である。
• 本稿は、標準的なRL設定とは区別される、オープンエンドド目的条件付き強化学習（GCRL）問題の形式的フレームワークを確立する。
• 時間経過とともに新しい目標を発見できないエージェント（見られた目標数が収束する）は、オープンエンドドラーニングエージェントとは言えない。
• 時間経過に伴い、新規目標発見の割合が対数的または線形に増加する傾向が見られる場合、それはオープンエンドドラーニング行動を示しており、増加傾きが最大の指標である。
• ランダムに抽出されたタスクを用いた標準化された外部的段階でのパフォーマンスは、内部的段階におけるOELプロセスの知識獲得能力を正当に測定する代理指標として有効である。
• フレームワークは、人間のスキル習得を反映させるために、表現再記述、抽象化、創造性といった追加の発達的メカニズムをOELエージェントに統合する必要性を強調する。