[論文レビュー] CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model

Hui Wu, Yuanben Zhang+6 more|arXiv (Cornell University)|Jan 6, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、短テキスト分類（STC）の性能を向上させるために、大規模言語モデル（LLMs）におけるチェーン・オブ・トゥーク（CoT）プロンプトを活用する四段階の推論（QLFR）フレームワーク「Quartet Logic」を提案する。このフレームワークは、キーコンセプト同定、常識的知識の取得、テキストの再表現、分類の四段階にタスクを分解する。さらに、LLMsの推論能力をより小さなモデルに転送するCoT駆動型マルチタスク学習手法「QLFR-CML」を導入し、6つのベンチマークで最先端の性能を達成。特にOhsumedおよびTagMyNewsで顕著な向上を示した。

ABSTRACT

Short Text Classification (STC) is crucial for processing and understanding the brief but substantial content prevalent on contemporary digital platforms. The STC encounters difficulties in grasping the semantic and syntactic intricacies, an issue that is apparent in traditional pre-trained language models. Although Graph Convolutional Networks enhance performance by integrating external knowledge bases, these methods are limited by the quality and extent of the knowledge applied. Recently, the emergence of Large Language Models (LLMs) and Chain-of-Thought (CoT) has significantly improved the performance of complex reasoning tasks. However, some studies have highlighted the limitations of their application in fundamental NLP tasks. Consequently, this study first employs CoT to investigate and enhance the capabilities of LLMs in STC tasks. We propose the Syntactic and Semantic Enrichment CoT (SSE-CoT) method, effectively decomposing the STC tasks into four distinct steps: (i) essential concept identification, (ii) common-sense knowledge retrieval, (iii) text rewriting, and (iv) classification. Furthermore, recognizing resource constraints in sectors like finance and healthcare, we then introduce the CoT-Driven Multi-Task Learning (CDMT) framework to extend these capabilities to smaller models. This framework begins by extracting rationales from LLMs and subsequently fine-tunes smaller models to optimize their performance. Extensive experimentation across six short-text benchmarks validated the efficacy of the proposed methods. In particular, SSE-CoT achieved state-of-the-art performance with substantial improvements on all datasets, particularly on the Ohsumed and TagMyNews datasets.

研究の動機と目的

• 従来の事前学習モデルが文法的・意味的曖昧性に苦しむ低リソースで意味的に疎なテキストにおける短テキスト分類（STC）の課題に対処すること。
• 外部知識の品質とカバレッジに依存するグラフ畳み込みネットワーク（GCNs）の限界を克服すること。
• 先行研究がLLMsの基本的NLPタスクにおける有効性に限界があると示しているにもかかわらず、LLMsの出現する推論能力と知識統合能力をSTCに活用すること。
• LLMsの推論能力をCoT駆動型マルチタスク学習フレームワークを通じてより小さな効率的なモデルに知識転送し、高価なLLM APIへの依存を減らすこと。
• 既存のモデルが性能を発揮しない分野特化型STCベンチマーク（例：OhsumedおよびTagMyNews）での性能向上を図ること。

提案手法

• 四段階のCoT推論パイプラインであるQuartet Logic（QLFR）フレームワークを提案：(i) キーコンセプト同定、(ii) 常識的知識の取得、(iii) 取得した知識を用いたテキスト再表現、(iv) 拡張済みテキストの分類。
• LLMsが短テキストにおける意味的ギャップを効果的に解消できるように支援するため、構造化された推論を促す「文法的・意味的拡張CoT（SSE-CoT）」を実装。
• LLMsの推論能力を合成されたCoTデータ上で微調整することで、より小さなモデルに転送するCoT駆動型マルチタスク学習手法「QLFR-CML」を開発。
• LLMが生成する推論内容をターゲットドメインの言語的・意味的パターンに合わせることで、知識転送を強化する「ドメイン適応型CoT」を導入。
• 微調整時に分類タスクの理解を向上させるために、ラベルの意味を明示的に組み込む「明示的カテゴリコンテキスト拡張（ECCA）」を適用。
• より小さなモデルがCoT推論ステップから導かれる補助タスクと併せて分類を学習するマルチタスク学習設定を採用し、汎化性能と耐障害性を向上。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・トゥーク（CoT）プロンプトは、意味的・文法的曖昧性に対処する短テキスト分類（STC）において、LLMsの推論能力と知識統合能力を効果的に引き出せるか？
• RQ2 構造化された四段階の推論フレームワーク（QLFR）は、標準的プロンプトやGCNベース手法と比較して、STC性能をどの程度向上できるか？
• RQ3 LLMsからの推論能力と知識は、CoT駆動型マルチタスク学習によって、より小さな効率的モデルに効果的に転送可能か？
• RQ4 ドメイン適応型および明示的に拡張されたCoTプロンプトの使用は、低リソースSTC環境下でのより小さなモデルの性能にどのような影響を及ぼすか？
• RQ5 トレーニングデータサイズが、特に低リソース環境下での提案されたQLFR-CMLフレームワークの性能に与える影響は何か？

主な発見

• QLFRは全6つのベンチマークデータセットで最先端の性能を達成。OhsumedではF1スコアが5.44%絶対値上昇、TagMyNewsでは4.32%のF1上昇を示し、強力なベースラインを上回った。
• QLFR-CML手法は、標準的プロンプトで微調整したFlan-T5-Largeを大幅に上回り、GPT-3を教師モデルとして使用した場合、MRデータセットでF1スコアが3.36%高い結果を達成した。
• LLaMA2-7Bは、OhsumedおよびTagMyNewsにおいてFlan-T5-XXLを上回った。これは、パラメータ数だけでなく、モデルアーキテクチャーやトレーニングデータの分布が性能に与える影響が大きいことを示唆している。
• 提案されたECCA機構により、手作業でカスタマイズされたデータセット固有のプロンプトの必要性が低下し、prompt2と同等またはそれ以上の性能を達成しながら、入力長を短縮し、効率性が向上した。
• 低データ環境下でも、QLFR-CMLフレームワークはSHINEおよびChatGLMを常に上回り、データ不足下でも堅牢でスケーラブルであることが示された。
• あるデータ量の閾値を超えると、性能向上が頭打ちになる傾向を示し、トレーニングデータ量の増加によるモデル性能の向上に限界があることがわかった。