[論文レビュー] How to Reuse and Compose Knowledge for a Lifetime of Tasks: A Survey on Continual Learning and Functional Composition

Jorge A. Mendez, Eric Eaton|arXiv (Cornell University)|Jul 15, 2022

Clinical Reasoning and Diagnostic Skills被引用数 9

ひとこと要約

本調査では、継続的学習と構成的学習を、継続的知識獲得における機能的結合可能性の提唱によって統合する。再利用可能で組み立て可能な知識ユニット—構造的でモジュラーな表現を通じて学習されたもの—が、災難的忘却を軽減し、前向きおよび後向きの転送を効率的に行うことを可能にし、構成を通じてタスクを横断して一般化できる、生涯にわたるAIエージェントへの道筋を提供する。

ABSTRACT

A major goal of artificial intelligence (AI) is to create an agent capable of acquiring a general understanding of the world. Such an agent would require the ability to continually accumulate and build upon its knowledge as it encounters new experiences. Lifelong or continual learning addresses this setting, whereby an agent faces a continual stream of problems and must strive to capture the knowledge necessary for solving each new task it encounters. If the agent is capable of accumulating knowledge in some form of compositional representation, it could then selectively reuse and combine relevant pieces of knowledge to construct novel solutions. Despite the intuitive appeal of this simple idea, the literatures on lifelong learning and compositional learning have proceeded largely separately. In an effort to promote developments that bridge between the two fields, this article surveys their respective research landscapes and discusses existing and future connections between them.

研究の動機と目的

• 継続的学習と構成的学習の間のギャップを解消すること。両分野はほとんど独立して発展してきた。
• 機能的結合可能性が、継続的学習における過去および未来のタスクの両方で知識再利用を可能にする方法を特定すること。
• 構成的表現—モジュラーで再利用可能なコンポonent—が、災難的忘却を軽減し、前向きの転送を向上させることを提唱すること。
• 統一されたフレームワークを通じて、継続的学習および構成的学習の既存手法を分析し、相乗効果と未解決の課題を浮き彫りにすること。
• スケーラブルで長期的な保持と一般化を支援する、明示的な構成的知識構造の学習へのシフトを提唱すること。

提案手法

• 6つの軸に沿って、継続的学習および構成的学習分野における既存の研究を調査・分類する：構成タイプ、継続的学習設定、メカニズム、与えられた構造、構造タイプ、分野。
• 非定常分布下でのタスクの連鎖として継続的学習を定式化し、前向きおよび後向きの転送を強調する。
• 機能的結合性を導入する。ここでは、タスクが再利用可能で組み立て可能な関数（例：「特定する」、「取得する」、「ナビゲートする」）に分解され、再結合可能である。
• スキル発見、ハイパーネットワーク、モジュラー強化学習などの、モジュラーでタスク固有のコンポーネントを学習する手法を、構成的継続的学習への道筋として強調する。
• 推論時に再利用可能なユニットとして知識を自己完結的に表現し、新しいタスクを解消するために組み合わせ可能であるべきだと提唱する。
• 例として、「検索・取得」と「ナビゲート」を組み合わせてステープラーを届けるタスクを提示し、構成が新しいタスクへの迅速な適応を可能にする様子を示す。

実験結果

リサーチクエスチョン

• RQ1 機能的結合可能性は、継続的学習システムにおける知識再利用を向上させるためにどのように活用できるか？
• RQ2 既存の継続的学習と構成的学習のパラダイムには、どのような主な相違点と相乗効果があるか？
• RQ3 構成的表現は、災難的忘却をどの程度軽減し、後向きの転送を向上させられるか？
• RQ4 無制限のメモリ増加なしに、スケーラブルで長期的な知識保持を実現するメカニズムは何か？
• RQ5 シンプルな関数から学習されたモジュラーで再利用可能なコンポーネントは、どのようにして新しい複雑なタスクを解消するための関数に発見され、組み合わせられるか？

主な発見

• 大多数の継続的学習手法は、明示的に構成的構造を学習していない一方で、大多数の構成的学習研究は、静的マルチタスクまたは少数のショット設定で動作している。
• 機能的結合可能性により、新しいタスクで再利用可能なモジュラーコンポーネントを活用することで、前向きの転送が効率化され、例として「ナビゲート」と「取得」を組み合わせて配達タスクを実行できる。
• 将来の知識が過去のタスクのモデルを改善する場合、後向きの転送が強化される。これは、構成的表現が前向きおよび後向きの知識転送の両方を支援できることを示唆している。
• 構成的表現により、知識コンポーネントの選択的保持とモジュラーな更新が可能となり、災難的忘却が軽減される。
• ハイパーネットワーク、モジュラー強化学習、微分可能ニューラルモジュールなどの手法は、再利用可能で組み立て可能な関数を学習する上で有望である。
• 継続的学習と構成的学習の統合はまだ初期段階にあり、表現学習、一般化、スケーラビリティの面で顕著な未解決の課題が残っている。