[論文レビュー] Annotation Guidelines-Based Knowledge Augmentation: Towards Enhancing Large Language Models for Educational Text Classification

Shiqi Liu, Sannyuya Liu+4 more|arXiv (Cornell University)|Jun 3, 2024

Text Readability and Simplification被引用数 5

ひとこと要約

AGKAはGPT-4によって取得された注釈ガイドラインの知識を用いて、非ファインチューニング済みのLLMsをLearning Engagement Classificationに補強し、6つのLECデータセットで性能向上を示すとともに、単純なタスクにおいてオープンソースモデルがクローズドソースモデルと同等であることを示唆します。

ABSTRACT

Various machine learning approaches have gained significant popularity for the automated classification of educational text to identify indicators of learning engagement -- i.e. learning engagement classification (LEC). LEC can offer comprehensive insights into human learning processes, attracting significant interest from diverse research communities, including Natural Language Processing (NLP), Learning Analytics, and Educational Data Mining. Recently, Large Language Models (LLMs), such as ChatGPT, have demonstrated remarkable performance in various NLP tasks. However, their comprehensive evaluation and improvement approaches in LEC tasks have not been thoroughly investigated. In this study, we propose the Annotation Guidelines-based Knowledge Augmentation (AGKA) approach to improve LLMs. AGKA employs GPT 4.0 to retrieve label definition knowledge from annotation guidelines, and then applies the random under-sampler to select a few typical examples. Subsequently, we conduct a systematic evaluation benchmark of LEC, which includes six LEC datasets covering behavior classification (question and urgency level), emotion classification (binary and epistemic emotion), and cognition classification (opinion and cognitive presence). The study results demonstrate that AGKA can enhance non-fine-tuned LLMs, particularly GPT 4.0 and Llama 3 70B. GPT 4.0 with AGKA few-shot outperforms full-shot fine-tuned models such as BERT and RoBERTa on simple binary classification datasets. However, GPT 4.0 lags in multi-class tasks that require a deep understanding of complex semantic information. Notably, Llama 3 70B with AGKA is a promising combination based on open-source LLM, because its performance is on par with closed-source GPT 4.0 with AGKA. In addition, LLMs struggle to distinguish between labels with similar names in multi-class classification.

研究の動機と目的

• 学習者生成テキストの分析を拡張するための自動化教育テキスト分類（ETC）とLearning Engagement Classification（LEC）を動機づける。
• 注釈ガイドラインからのラベル定義知識をLLMのプロンプトに組み込むためのAGKAを提案する。
• AGKAの有効性を評価するため、6つのLECデータセットでオープン・クローズド問わずLLMを系統的にベンチマークする。
• AGKAがどこで性能を向上させるか、深い意味理解が依然として挑戦的な領域を分析する。

提案手法

• GPT-4を用いて注釈ガイドラインからラベル定義知識を取得する。
• タスク主張、ラベル定義、出力形式、入力テキストを含むターゲットタスクプロンプトを構築する。
• Random Under Sampler（RUS）を適用して典型的なfew-shot例を選択しクラスを均衡化する。
• 非ファインチューニングLLMとファインチューニング済みベースラインの混在に対して、素のプロンプトとAGKAプロンプトを比較する。
• 行動、感情、認知にまたがる6つのLECデータセットで精度と加重F1スコアを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 AGKAは非ファインチューニングLLMがLECタスクで、通常のプロンプトと比較して性能を改善できるか。
• RQ2 2値 vs 多クラスのLECタスクにおいて、AGKAの性能はフルショットのファインチューニングモデルとどう比較されるか？
• RQ3 AGKAを用いたオープンソースLLMはLECベンチマークでクローズドソースモデルと競争力があるか？
• RQ4 LECのサブタスク（行動、感情、認知）のうち、AGKAの恩恵を最も受けるのはどれで、どこに依然として課題が残るか？
• RQ5 多クラスLECにおけるラベル定義のニュアンス（例：類似のラベル名）はLLMを用いたタスクでどのような役割を果たすか？

主な発見

• AGKAは6つのLECデータセットに渡って、非ファインチューニングLLMを常にバニラプロンプトより改善する。
• GPT-4.0のAGKAを用いたfew-shotは、単純な二値タスクでフルショットのファインチューニングモデルを上回ることがある。
• Llama 3 70B with AGKAは複数データセットでGPT-4.0 with AGKAと同等の性能を示し、オープンソースの同等性を際立たせている。
• GPT-4.0 with AGKAは三つの二値行動データセットでフルショットRoBERTaを上回ることがあるが、より複雑な多クラスタスクでは遅れる可能性がある。
• AGKAを用いても、深い意味理解を要するタスク（例：認識的感情、認知存在感）はLLMにとって依然として挑戦的である。
• 結果は教育分野でLLMsを強化するAGKAの可能性を示すベンチマークを提供し、オープンソースモデルがクローズドソースの性能に近づいていることを示唆している。