[论文解读] On the Power of Foundation Models

Yuan Yang|arXiv (Cornell University)|Nov 29, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文利用范畴论分析在理想条件下（无限数据点、无限计算资源、完美训练）基础模型的理论极限——证明提示学习仅能处理可表示的任务，而微调则可解决由掩蔽任务定义范畴内的任意任务，为零样本生成未见对象（如“牛油果椅”）提供了一种新的结构性泛化定理。

ABSTRACT

With infinitely many high-quality data points, infinite computational power, an infinitely large foundation model with a perfect training algorithm and guaranteed zero generalization error on the pretext task, can the model be used for everything? This question cannot be answered by the existing theory of representation, optimization or generalization, because the issues they mainly investigate are assumed to be nonexistent here. In this paper, we show that category theory provides powerful machinery to answer this question. We have proved three results. The first one limits the power of prompt-based learning, saying that the model can solve a downstream task with prompts if and only if the task is representable. The second one says fine tuning does not have this limit, as a foundation model with the minimum required power (up to symmetry) can theoretically solve downstream tasks for the category defined by pretext task, with fine tuning and enough resources. Our final result can be seen as a new type of generalization theorem, showing that the foundation model can generate unseen objects from the target category (e.g., images) using the structural information from the source category (e.g., texts). Along the way, we provide a categorical framework for supervised and self-supervised learning, which might be of independent interest.

研究动机与目标

• 在无限数据、无限计算资源和完美训练的理想条件下，确定基础模型是否能解决任意下游任务。
• 识别提示学习在基础模型中所受的根本性结构限制。
• 证明当具备足够资源时，微调可克服这些限制。
• 构建一个用于监督学习与自监督学习的范畴框架，以捕捉下游任务之间的结构性关系。
• 提出一种新的泛化定理，解释基础模型如何通过源数据中的结构性模式，生成未见的组合性对象（如“牛油果椅”）。

提出的方法

• 在范畴论框架内形式化基础模型与下游任务，其中对象代表数据分布，态射代表通过掩蔽任务学习到的结构性关系。
• 将下游任务的可表示性定义为从掩蔽范畴到任务范畴的态射的存在性，从而判断提示微调是否能解决该任务。
• 引入“典范后继测度”概念，以建模自然语言及其他结构化数据中的序列依赖关系，实现语言建模的范畴表示。
• 以广义形式应用Yoneda引理，将态射表示为函子（而非RKHS中的实数），从而实现更丰富的结构性表示。
• 采用模型无关、仅关注结构的方法，抽象掉数据分布与网络架构，专注于掩蔽任务所提取的结构性信息。
• 建立一个泛化定理（定理3），表明基础模型可通过将源范畴（如文本）中的结构性模式组合到目标范畴（如图像）中，生成新颖的未见对象。

实验结果

研究问题

• RQ1 在具备无限数据、无限计算资源和完美训练的前提下，基础模型能否解决任意下游任务？
• RQ2 提示学习在基础模型中的结构性限制是什么？
• RQ3 微调是否能克服这些结构性限制？在何种条件下可以？
• RQ4 基础模型如何生成训练数据中不存在的新颖组合性对象（如“牛油果椅”）？
• RQ5 何种范畴框架可系统地建模自监督掩蔽任务与下游任务之间的关系？

主要发现

• 提示学习仅能解决由掩蔽任务定义范畴中可表示的下游任务，意味着非可表示任务（如复杂分割或分类）无法仅通过提示微调解决。
• 只要基础模型具备最小必要的结构性能力（至对称性）并拥有足够资源，微调即可解决该范畴内的任意下游任务。
• 本文证明了一类新型泛化定理（定理3），表明基础模型可通过利用源范畴中的结构性信息，将模式组合到目标范畴中，从而生成未见的组合性对象，解释了如“牛油果椅”等新颖图像的零样本生成机制。
• 该范畴框架通过以集合值函子替代传统RKHS中的标量值态射，实现了对NLP与视觉任务中复杂关系的更丰富建模。
• 该框架具有模型无关性，抽象掉数据分布与网络架构，表明基础模型的结构性限制源于掩蔽任务提取有意义范畴结构的能力。
• 结果表明，掩蔽任务的选择至关重要：若其未能捕获足够的结构性信息，则即使采用微调也无法克服由此产生的限制。