[논문 리뷰] CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model

Hui Wu, Yuanben Zhang외 6명|arXiv (Cornell University)|2024. 01. 06.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 짧은 텍스트 분류(STC)를 향상시키기 위해 대규모 언어 모델(LMs)의 체인 오브 타ught(CoT) 프롬프팅을 활용하는 사다리식 추론(QLFR) 프레임워크인 Quartet Logic를 제안한다. 이 프레임워크는 작업을 핵심 개념 식별, 일반 지식 검색, 텍스트 재작성, 분류의 네 단계로 분해한다. 또한 LLM의 추론 능력을 더 작은 모델에 전이하는 CoT 기반 다중 작업 학습 방법인 QLFR-CML을 도입하여 여섯 가지 벤치마크에서 최신 기준 성능을 달성했으며, Ohsumed 및 TagMyNews에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Short Text Classification (STC) is crucial for processing and understanding the brief but substantial content prevalent on contemporary digital platforms. The STC encounters difficulties in grasping the semantic and syntactic intricacies, an issue that is apparent in traditional pre-trained language models. Although Graph Convolutional Networks enhance performance by integrating external knowledge bases, these methods are limited by the quality and extent of the knowledge applied. Recently, the emergence of Large Language Models (LLMs) and Chain-of-Thought (CoT) has significantly improved the performance of complex reasoning tasks. However, some studies have highlighted the limitations of their application in fundamental NLP tasks. Consequently, this study first employs CoT to investigate and enhance the capabilities of LLMs in STC tasks. We propose the Syntactic and Semantic Enrichment CoT (SSE-CoT) method, effectively decomposing the STC tasks into four distinct steps: (i) essential concept identification, (ii) common-sense knowledge retrieval, (iii) text rewriting, and (iv) classification. Furthermore, recognizing resource constraints in sectors like finance and healthcare, we then introduce the CoT-Driven Multi-Task Learning (CDMT) framework to extend these capabilities to smaller models. This framework begins by extracting rationales from LLMs and subsequently fine-tunes smaller models to optimize their performance. Extensive experimentation across six short-text benchmarks validated the efficacy of the proposed methods. In particular, SSE-CoT achieved state-of-the-art performance with substantial improvements on all datasets, particularly on the Ohsumed and TagMyNews datasets.

연구 동기 및 목표

• 기존 사전 학습된 모델이 문법적 및 의미적 모호성으로 인해 어려움을 겪는 저자원, 의미적으로 빈약한 텍스트에서 짧은 텍스트 분류(STC) 문제를 해결한다.
• 외부 지식의 품질과 커버리지에 의존하는 그래프 컬러이션 네트워크(GCNs)의 한계를 극복한다.
• 이전 연구에서 LLM이 기본 NLP 작업에서 제한된 효과성을 보였음에도 불구하고, LLM의 부상하는 추론 능력과 지식 통합 능력을 STC에 활용한다.
• CoT 기반 다중 작업 학습 프레임워크를 통해 강력한 LLM에서 더 작은 효율적인 모델로 추론 능력을 전이함으로써 고비용 LLM API 의존도를 줄인다.
• 기존 모델이 성능을 내지 못하는 도메인 특화 STC 벤치마크인 Ohsumed 및 TagMyNews에서 성능을 향상시킨다.

제안 방법

• 네 단계 CoT 추론 파이프라인인 Quartet Logic(QLFR) 프레임워크를 제안한다: (i) 핵심 개념 식별, (ii) 일반 지식 검색, (iii) 확보한 지식을 활용한 텍스트 재작성, (iv) 향상된 텍스트의 분류.
• LLM이 짧은 텍스트의 의미적 갭을 해결할 수 있도록 유도하기 위해, 구조화된 추론을 지원하는 문법적 및 의미적 풍부화 CoT(SSE-CoT)를 구현한다.
• LLM의 추론 능력을 더 작은 모델로 전이하기 위해, 합성된 CoT 생성 데이터에 대한 피니테이닝을 통해 CoT 기반 다중 작업 학습 방법(QLFR-CML)을 개발한다.
• LLM이 생성한 추론 과정을 대상 도메인의 언어적 및 의미적 패턴과 일치시키기 위해 도메인 적응형 CoT을 도입하여 지식 전이를 향상시킨다.
• 피니테이닝 중에 명시적 분류 레이블 의미를 통합함으로써, 더 작은 모델이 분류 작업을 더 잘 이해할 수 있도록 명시적 카테고리 컨텍스트 증강(ECCA)을 적용한다.
• 더 작은 모델이 CoT 추론 단계에서 파생된 보조 작업과 함께 분류를 동시에 학습하는 다중 작업 학습 설정을 사용하여 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 체인 오브 타ught(CoT) 프롬프팅이 짧은 텍스트 분류(STC)에서 의미적 및 문법적 모호성을 다루는 데 있어 LLM의 추론 능력과 지식 통합 능력을 효과적으로 해금할 수 있는가?
• RQ2 구조화된 네 단계 추론 프레임워크(QLFR)가 표준 프롬프팅 또는 GCN 기반 방법에 비해 STC 성능을 얼마나 향상시킬 수 있는가?
• RQ3 CoT 기반 다중 작업 학습을 통해 LLM의 지식과 추론 능력을 더 작은 효율적인 모델로 효과적으로 전이할 수 있는가?
• RQ4 도메인 적응형 및 명시적 증강된 CoT 프롬프트의 사용이 저자원 STC 환경에서 더 작은 모델의 성능에 어떤 영향을 미치는가?
• RQ5 학습 데이터 크기가 제안된 QLFR-CML 프레임워크 성능에 미치는 영향은 무엇이며, 특히 저자원 환경에서 어떻게 나타나는가?

주요 결과

• QLFR는 여섯 개의 벤치마크 데이터셋 전부에서 최신 기준 성능을 달성했으며, Ohsumed 데이터셋에서 기존 강력한 베이스라인 대비 F1 점수 5.44%p 상승했고, TagMyNews에서는 F1 점수 4.32%p 향상되었다.
• QLFR-CML 방법은 표준 프롬프팅으로 피니테이닝한 Flan-T5-Large보다 뛰어난 성능을 보였으며, GPT-3를 테이치 모델로 사용했을 때 MR 데이터셋에서 F1 점수 3.36%p 높게 기록했다.
• LLaMA2-7B가 Ohsumed 및 TagMyNews에서 Flan-T5-XXL를 능가하는 성능을 보였으며, 이는 모델 아키텍처와 학습 데이터 분포가 파rameter 수만으로는 결정되지 않음을 시사한다.
• 제안된 ECCA 메커니즘은 수작업으로 맞춤 제작한 데이터셋 전용 프롬프트의 필요성을 줄였고, prompt2와 비교해 유사하거나 더 높은 성능을 달성하면서 입력 길이를 단축하고 효율성을 향상시켰다.
• 저자원 환경에서 QLFR-CML 프레임워크는 SHINE 및 ChatGLM를 지속적으로 능가하여 자원 부족 상황에서도 강건성과 확장성을 입증했다.
• 일정한 데이터 임계값을 초과하면 성능 향상이 정체됨을 관찰하여, 학습 데이터 크기가 증가함에 따라 모델 성능 향상의 수익 감소 현상이 나타남을 시사한다.