[論文レビュー] Leveraging Large Language Models for Enhanced NLP Task Performance through Knowledge Distillation and Optimized Training Strategies

Yining Huang, Tang, Keke+1 more|arXiv (Cornell University)|Feb 14, 2024

Topic Modeling被引用数 7

ひとこと要約

この論文は GPT-4 の注釈データを蒸留して NER のための BERT に適用することを調査し、 prompting 戦略、データ混合レジメン、データブレンド関数を比較して、手動注釈を削減しつつ NER の性能を向上させる。

ABSTRACT

Emerging Large Language Models (LLMs) like GPT-4 have revolutionized Natural Language Processing (NLP), showing potential in traditional tasks such as Named Entity Recognition (NER). Our study explores a three-phase training strategy that harnesses GPT-4's capabilities to enhance the BERT model's performance on NER. Initially, GPT-4 annotates a subset of the CONLL2003 and additional BBC dataset without fine-tuning. We then train BERT using a mix of original and LLM-annotated data, analyzing the efficacy of LLM annotations against traditional methods. The second phase involves comparative experiments with different training regimens, assessing the synergy between distilled and original data. We observe that sequential strategies, particularly a simple mix of training first with distilled data followed by original data, significantly boost performance. In the third phase, we investigate various data blending techniques, including sigmoid and power decay functions, to optimize the training process further. Our results indicate that a strategic mix of distilled and original data markedly elevates the NER capabilities of BERT. Our approach presents a scalable methodology that reduces manual annotation costs and increases efficiency, making it especially pertinent in resource-limited and closed-network environments. The study concludes that while the 'Simple Mix' strategy yields the best results, understanding its underlying mechanisms requires further research. Future work will also focus on refining prompt designs and enhancing annotation selection processes, aiming to extend our methodology to diverse NLP tasks.

研究の動機と目的

• NER における手動注釈コストの削減を、LLM 生成注釈を活用して動機づける。
• 伝統的な NER データセットで訓練された小型モデル（BERT）に対する LL.M.由来注釈の影響を評価する。
• LLM 注釈品質のための prompting 戦略（Standard vs Chain of Thought）を比較する。
• NER 性能を最大化するための逐次的およびブレンド型データ訓練レジメンを探る。

提案手法

• GPT-4 を用いて Standard および Chain-of-Thought プロンプトで CONLL2003 の 1000 文を注釈付け。
• GPT-4 注釈データと元データを用いて BERT-base-uncased をさまざまなレジメンで訓練。
• 関連する BBC データセットにも注釈を拡張し、蒸留とブレンドの訓練コーパスを作成。
• 複数の訓練戦略を体系的に評価（純蒸留、純元データ、逐次、減衰関数を用いたブレンド）。
• NER 指標（F1、精度、再現率）をエンティティタイプ（LOC、ORG、PER、MISC）ごとに分析。
• データブレンディング関数（シグモイド、コサイン、パワー、シンプルミックス）を調査し、訓練ダイナミクスを最適化。

実験結果

リサーチクエスチョン

• RQ1 GPT-4 の注釈品質（Chain-of-Thought プロンプティング有無を問わず）が LLM から蒸留する場合に BERT ベースの NER を改善するか。
• RQ2 最高の NER パフォーマンスを生む訓練レジメン（純蒸留、純元データ、逐次、減衰関数を用いたブレンド）はどれか。
• RQ3 外部蒸留データ（BBC）を CONLL データとブレンドすることで NER 性能はさらに向上するか。
• RQ4 データブレンディングのスケジュール（シグモイド、コサイン、パワー、シンプルミックス）はエンティティタイプごとのマイクロ/マクロ/F1 スコアにどのような影響を与えるか。

主な発見

• CoT プロンプティングは標準プロンプトより高い NER 注釈品質をもたらす（1000 CONLL 文で F1 0.73 対 0.65）。
• 逐次訓練（蒸留データを先に、次に元データ）で、元データのみ訓練より NER 性能が大幅に向上。
• フェーズ2では、CONLL 蒸留データへ BBC 蒸留データを追加することで CONLL のみを使用した場合より一般化が改善。
• フェーズ3では、学習率の減衰なしの単純ミックスが強力な総合 F1（0.869 マイクロ平均）と LOC/PER の向上を示し、他のブレンド戦略はさまざまな利益を提供。
• All-data ALL ブレンディングは、戦略的ブレンディングアプローチより性能が劣る傾向があり、データの品質と分布が総量より重要であることを示唆。