[論文レビュー] On the Power of Foundation Models

Yuan Yang|arXiv (Cornell University)|Nov 29, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

この論文は、無限のデータポイント、無限の計算リソース、完全なトレーニングという理想状態下で、基盤モデルの理論的限界を圏論を用いて分析している。プロンプトベースの学習は表現可能なタスクに限定されると証明されており、ファインチューニングは事前学習タスクによって定義される圏に属する任意のタスクを解ける。これは、'アボカドチェア'のような未観測の対象のゼロショット生成を説明する、新しい構造的一般化定理を提供する。

ABSTRACT

With infinitely many high-quality data points, infinite computational power, an infinitely large foundation model with a perfect training algorithm and guaranteed zero generalization error on the pretext task, can the model be used for everything? This question cannot be answered by the existing theory of representation, optimization or generalization, because the issues they mainly investigate are assumed to be nonexistent here. In this paper, we show that category theory provides powerful machinery to answer this question. We have proved three results. The first one limits the power of prompt-based learning, saying that the model can solve a downstream task with prompts if and only if the task is representable. The second one says fine tuning does not have this limit, as a foundation model with the minimum required power (up to symmetry) can theoretically solve downstream tasks for the category defined by pretext task, with fine tuning and enough resources. Our final result can be seen as a new type of generalization theorem, showing that the foundation model can generate unseen objects from the target category (e.g., images) using the structural information from the source category (e.g., texts). Along the way, we provide a categorical framework for supervised and self-supervised learning, which might be of independent interest.

研究の動機と目的

• 無限のデータ、無限の計算リソース、完全なトレーニングという理想条件下で、基盤モデルが任意のダウンストリームタスクを解けるかどうかを特定すること。
• 基盤モデルにおけるプロンプトベースの学習の根本的な構造的制限を同定すること。
• 十分なリソースが利用可能な場合、ファインチューニングがこれらの制限を克服できることを示すこと。
• 教師ありおよび自己教師あり学習を体系的に記述する圏的枠組みを構築し、タスク間の構造的関係を捉えること。
• 基盤モデルが、'アボカドチェア'のような構成的で未観測の対象を、ソースデータの構造的パターンからどのように生成できるかを説明する新しい一般化定理を提供すること。

提案手法

• オブジェクトがデータ分布を表し、モルフィズムが事前学習タスクを通じて学習された構造的関係を表す圏論的枠組み内で、基盤モデルとダウンストリームタスクを形式化すること。
• ダウンストリームタスクの表現可能性を、事前学習圈权からタスク圈权へのモルフィズムの存在として定義し、これがプロンプトチューニングによる解法可能性を決定すること。
• 自然言語やその他の構造的データにおける順序的依存関係をモデル化するための標準的後続測度の概念を導入し、言語モデリングの圏論的表現を可能にすること。
• 一般化された形でのYoneda補題を適用し、RKHSにおける実数値のモルフィズムではなく、ファンクターとしてモルフィズムを表現することで、より豊かな構造的表現を可能にすること。
• データ分布やネットワークアーキテクチャを抽象化し、構造的情報を事前学習タスクが抽出する能力にのみ焦点を当てる、モデルに依存しない構造中心のアプローチを採用すること。
• 一般化定理（定理3）を確立し、基盤モデルがソース圈权（例：テキスト）からの構造的パターンを組み合わせてターゲット圈权（例：画像）に適用することで、未観測の新しい対象を生成できることを示している。

実験結果

リサーチクエスチョン

• RQ1 無限のデータ、計算リソース、完全なトレーニングを備えた基盤モデルは、任意のダウンストリームタスクを解けるか？
• RQ2 基盤モデルにおけるプロンプトベースの学習のパワーを制限する構造的制約は何か？
• RQ3 ファインチューニングはこれらの構造的制限を克服できるか？ そしてどのような条件下で？
• RQ4 基盤モデルは、トレーニングデータに存在しない、構成的で新しい対象（例：'アボカドチェア'）をどのように生成できるか？
• RQ5 自己教師あり事前学習タスクとダウンストリームタスクの関係を体系的にモデル化するための圏的枠組みは何か？

主な発見

• プロンプトベースの学習は、事前学習タスクによって定義される圈权に表現可能なタスクにしか対処できない。これは、複雑なセグメンテーションや分類のような非表現可能なタスクは、プロンプトのみでは解けないことを意味する。
• ファインチューニングは、事前学習タスクによって定義される圈权に属する任意のダウンストリームタスクを解けるが、基盤モデルが最小限の構造的パワー（対称性を除く）を備えており、十分なリソースが利用可能である場合に限る。
• 本論文は、基盤モデルがソース圈权からの構造的パターンを組み合わせてターゲット圈权に適用することで、未観測の構成的対象を生成できることを示す新しいタイプの一般化定理（定理3）を証明している。これにより、'アボカドチェア'のような新しい画像のゼロショット生成が説明できる。
• 従来のRKHSを一般化する枠組みとして、スカラー値のモルフィズムを集合値のファンクターに置き換えることで、NLPおよびビジョンタスクにおける複雑な関係のモデリングが可能になった。
• この枠組みはモデルに依存せず、データ分布やネットワークアーキテクチャを抽象化しており、基盤モデルの構造的制限が、事前学習タスクが意味のある圈权構造を抽出できるかどうかに起因することを示している。
• 結果から、事前学習タスクの選択が極めて重要であることが示唆される。もしタスクが十分な構造的情報を抽出できなければ、たとえファインチューニングが可能でも、その制限は克服できない。