[论文解读] CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model

Hui Wu, Yuanben Zhang+6 more|arXiv (Cornell University)|Jan 6, 2024

Topic Modeling被引用 4

一句话总结

本文提出四步推理（QLFR）框架——Quartet Logic：通过在大型语言模型（LLMs）中采用思维链（CoT）提示，将短文本分类（STC）任务分解为关键概念识别、常识知识检索、文本重写和分类四个步骤，从而提升性能。此外，还引入QLFR-CML，一种基于CoT的多任务学习方法，将LLMs的推理能力迁移至小型模型，在六个基准测试中实现最先进性能，尤其在Ohsumed和TagMyNews数据集上取得显著提升。

ABSTRACT

Short Text Classification (STC) is crucial for processing and understanding the brief but substantial content prevalent on contemporary digital platforms. The STC encounters difficulties in grasping the semantic and syntactic intricacies, an issue that is apparent in traditional pre-trained language models. Although Graph Convolutional Networks enhance performance by integrating external knowledge bases, these methods are limited by the quality and extent of the knowledge applied. Recently, the emergence of Large Language Models (LLMs) and Chain-of-Thought (CoT) has significantly improved the performance of complex reasoning tasks. However, some studies have highlighted the limitations of their application in fundamental NLP tasks. Consequently, this study first employs CoT to investigate and enhance the capabilities of LLMs in STC tasks. We propose the Syntactic and Semantic Enrichment CoT (SSE-CoT) method, effectively decomposing the STC tasks into four distinct steps: (i) essential concept identification, (ii) common-sense knowledge retrieval, (iii) text rewriting, and (iv) classification. Furthermore, recognizing resource constraints in sectors like finance and healthcare, we then introduce the CoT-Driven Multi-Task Learning (CDMT) framework to extend these capabilities to smaller models. This framework begins by extracting rationales from LLMs and subsequently fine-tunes smaller models to optimize their performance. Extensive experimentation across six short-text benchmarks validated the efficacy of the proposed methods. In particular, SSE-CoT achieved state-of-the-art performance with substantial improvements on all datasets, particularly on the Ohsumed and TagMyNews datasets.

研究动机与目标

• 解决在低资源、语义稀疏文本中短文本分类（STC）的挑战，传统预训练模型在句法和语义歧义方面表现不佳。
• 克服图卷积网络（GCNs）对高质量和高覆盖率外部知识的依赖。
• 利用大型语言模型（LLMs）在推理和知识整合方面的新兴能力进行STC，尽管先前研究显示LLMs在基础NLP任务中效果有限。
• 通过基于CoT的多任务学习框架，将强大LLMs的推理能力迁移至更小、更高效的模型，减少对昂贵LLM API的依赖。
• 提升在领域特定STC基准（如Ohsumed和TagMyNews）上的性能，现有模型在这些任务上表现不佳。

提出的方法

• 提出四步CoT推理流水线的Quartet Logic（QLFR）框架：(i) 关键概念识别，(ii) 常识知识检索，(iii) 使用检索到的知识重写文本，(iv) 对增强后的文本进行分类。
• 实施句法与语义增强CoT（SSE-CoT），通过结构化推理引导LLMs，提升其在短文本中语义鸿沟的解决能力。
• 开发QLFR-CML，一种基于CoT的多任务学习方法，通过在合成CoT生成数据上微调，将LLMs的推理能力迁移至小型模型。
• 引入领域自适应CoT，通过对齐LLM生成的推理过程与目标领域的语言和语义模式，增强知识迁移效果。
• 在微调过程中引入显式类别上下文增强（ECCA），通过显式整合标签语义，提升小型模型对分类任务的理解。
• 采用多任务学习设置，使小型模型在学习分类任务的同时，也学习源自CoT推理步骤的辅助任务，提升泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 思维链（CoT）提示能否有效激发LLMs在短文本分类（STC）中的推理与知识能力，特别是在处理语义和句法歧义方面？
• RQ2 与标准提示或基于GCN的方法相比，结构化的四步推理框架（QLFR）在多大程度上能提升STC性能？
• RQ3 能否通过基于CoT的多任务学习，有效将LLMs的知识与推理能力迁移至更小、更高效的模型？
• RQ4 在低资源STC设置下，使用领域自适应和显式增强的CoT提示如何影响小型模型的性能？
• RQ5 训练数据量对所提出的QLFR-CML框架性能的影响如何，特别是在低资源场景下？

主要发现

• QLFR在所有六个基准数据集上均达到最先进性能，在Ohsumed数据集上F1绝对提升5.44%，在TagMyNews上F1提升4.32%，优于强基线模型。
• QLFR-CML方法显著优于使用标准提示微调的Flan-T5-Large，在使用GPT-3作为教师模型时，MR数据集上F1高出3.36%。
• LLaMA2-7B在Ohsumed和TagMyNews上优于Flan-T5-XXL，表明模型架构和训练数据分布的影响可能超过参数量本身。
• 所提出的ECCA机制减少了对手动设计、数据集特定提示的依赖，在性能上达到或优于prompt2，同时缩短输入长度，提升效率。
• 在低数据场景下，QLFR-CML框架始终优于SHINE和ChatGLM，展现出在数据稀缺条件下的鲁棒性与可扩展性。
• 当训练数据量超过某一阈值后，性能提升趋于平缓，表明随着训练数据增加，模型性能提升的边际效益递减。