[论文解读] TART: A plug-and-play Transformer module for task-agnostic reasoning

Kush Bhatia, Avanika Narayan+2 more|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用 4

一句话总结

Tart 提出了一种即插即用的基于 Transformer 的推理模块，通过提升大型语言模型在少样本提示学习中的概率推理能力，无需针对特定任务进行微调，从而增强其少样本提示学习性能。该模块在合成的逻辑回归任务上进行训练，显著提升了多种模型（GPT-Neo、Pythia、Bloom）、多种任务（14 个 NLP 二分类任务）以及多种模态（视觉、语音）下的表现，超越了少样本提示学习，接近全量微调的准确率——例如，GPT-Neo（125M）在 RAFT 基准测试中表现优于 Bloom（176B）。

ABSTRACT

Large language models (LLMs) exhibit in-context learning abilities which enable the same model to perform several tasks without any task-specific training. In contrast, traditional adaptation approaches, such as fine-tuning, modify the underlying models for each specific task. In-context learning, however, consistently underperforms task-specific tuning approaches even when presented with the same examples. While most existing approaches (e.g., prompt engineering) focus on the LLM's learned representations to patch this performance gap, our analysis actually reveal that LLM representations contain sufficient information to make good predictions. As such, we focus on the LLM's reasoning abilities and demonstrate that this performance gap exists due to their inability to perform simple probabilistic reasoning tasks. This raises an intriguing question: Are LLMs actually capable of learning how to reason in a task-agnostic manner? We answer this in the affirmative and propose TART which generically improves an LLM's reasoning abilities using a synthetically trained Transformer-based reasoning module. TART trains this reasoning module in a task-agnostic manner using only synthetic logistic regression tasks and composes it with an arbitrary real-world pre-trained model without any additional training. With a single inference module, TART improves performance across different model families (GPT-Neo, Pythia, BLOOM), model sizes (100M - 6B), tasks (14 NLP binary classification tasks), and even across different modalities (audio and vision). Additionally, on the RAFT Benchmark, TART improves GPT-Neo (125M)'s performance such that it outperforms BLOOM (176B), and is within 4% of GPT-3 (175B). Our code and models are available at https://github.com/HazyResearch/TART .

研究动机与目标

• 解决大型语言模型在少样本提示学习与特定任务微调之间持续存在的性能差距问题。
• 探究该性能差距是否源于模型表征能力不足或推理能力薄弱。
• 开发一种在任务无关、模型无关且可扩展数据规模的前提下提升推理能力的方法。
• 设计一种即插即用的模块，无需额外训练即可增强任意预训练大型语言模型的推理能力。
• 在保持跨多样化任务和模态泛化能力的同时，缩小与特定任务微调的性能差距。

提出的方法

• 在合成的逻辑回归任务上训练一个专用的基于 Transformer 的推理模块，以提升概率推理能力。
• 在推理时将预训练的推理模块与任意预训练大型语言模型的嵌入向量组合，无需进一步训练。
• 使用一个单一的、任务无关的推理模块，仅在合成数据上训练一次，即可在多个模型族和下游任务中实现泛化。
• 将该模块应用于多样化的 NLP 任务（14 个二分类任务）、视觉任务和语音任务，以评估其跨领域泛化能力。
• 通过支持最多 10 倍于标准少样本提示学习的 few-shot 示例数量，确保数据可扩展性。
• 使用可学习的投影头，将大型语言模型的 token 嵌入向量与推理模块的输入空间对齐。

实验结果

研究问题

• RQ1 大型语言模型在少样本提示学习与微调之间的性能差距，在多大程度上源于其推理能力不足？
• RQ2 一个经过合成数据训练的单一推理模块，是否能跨多种大型语言模型族和任务提升少样本提示学习性能？
• RQ3 所提出的方法是否能在保持任务无关性的同时，实现与特定任务微调相媲美甚至更具竞争力的性能？
• RQ4 该推理模块是否能在不重新训练的情况下，跨不同模态（如文本、视觉、语音）实现泛化？
• RQ5 随着 few-shot 示例数量的增加，Tart 的性能如何扩展？

主要发现

• 大型语言模型具备高质量的表征能力，而少样本提示学习与微调之间高达 79% 的性能差距源于推理能力薄弱。
• 微调同时提升了表征和推理能力，但其中 72% 的性能增益来自推理能力的增强。
• 在 14 个 NLP 任务上，Tart 平均将少样本提示学习的准确率提升了 18.4%，且与全量微调性能仅相差 3.1%。
• 在 RAFT 基准测试中，使用 Tart 的 GPT-Neo（125M）表现优于 Bloom（176B），证明了其强大的模型无关泛化能力。
• Tart 在无需额外训练的情况下，实现了跨模型族（GPT-Neo、Pythia、Bloom）、模型规模（100M–6B）和模态（文本、视觉、语音）的泛化。
• 该方法可随 few-shot 示例数量的增加而扩展，支持的示例数量最多可达标准少样本提示学习的 10 倍，显著提升了数据可扩展性。