[論文レビュー] LlamBERT: Large-scale low-cost data annotation in NLP

Bálint Csanády, Lajos Muzsai+3 more|arXiv (Cornell University)|Mar 23, 2024

Data Mining Algorithms and Applications被引用数 8

ひとこと要約

LlamBERT は unlabeled データの subset に対する LLM ベースのラベリングと BERT/RoBERTa のファインチューニングを組み合わせ、IMDb および UMLS データセットで費用を抑えつつ競争力のある精度を達成します。

ABSTRACT

Large Language Models (LLMs), such as GPT-4 and Llama 2, show remarkable proficiency in a wide range of natural language processing (NLP) tasks. Despite their effectiveness, the high costs associated with their use pose a challenge. We present LlamBERT, a hybrid approach that leverages LLMs to annotate a small subset of large, unlabeled databases and uses the results for fine-tuning transformer encoders like BERT and RoBERTa. This strategy is evaluated on two diverse datasets: the IMDb review dataset and the UMLS Meta-Thesaurus. Our results indicate that the LlamBERT approach slightly compromises on accuracy while offering much greater cost-effectiveness.

研究の動機と目的

• LLMs を用いて大規模な未ラベルコーパスのサブセットにラベルを付ける資源効率の良いデータ注釈パラダイムを動機づける。
• LLM ラベル付きデータを用いて BERT や RoBERTa のような小型のトランスフォーマーをファインチューニングする効果を示す。
• IMDb 感情分析と UMLS の解剖関連概念といった多様なデータセットでアプローチを評価し、汎用性とコスト効率を評価する。

提案手法

• ラベリング基準を反映したバイナリ・プロンプトを用いて Llama 2 の未ラベルデータのランダムなサブセットを注釈する。
• Llama 2 の出力をターゲットカテゴリに解析し、曖昧なデータを破棄する。
• LLM ラベル付けデータ上で BERT／RoBERTa の分類器をファインチューニングし、性能向上のためにゴールドデータを併用する。
• ファインチューニング済み分類器を用いて全未ラベルコーパスに注釈を付ける。
• モデル間で LlamBERT のバリアント（0-shot、few-shot プロンプト; 追加の未ラベルデータ; ゴールドデータとの組み合わせ）を比較する。
• 効果とコストを評価するために Llama-2-7b-chat、Llama-2-70b-chat、GPT-4-0613 を用いて実験する。

実験結果

リサーチクエスチョン

• RQ1 LLM 支援ラベリングされた未ラベルデータのサブセットを用いて、より小さなトランスフォーマーをファインチューニングした場合、競合的な NLP モデル性能を得られるか？
• RQ2 LLM でラベル付けされた追加の未ラベルデータを加えることは、ゴールド標準データだけと比べて下流の精度にどう影響するか？
• RQ3 ベンチマーク全体で、LlamBERT の費用対効果は完全監視学習や完全に LLM ベースのラベリングと比べてどうか？
• RQ4 ハイブリッド手法は、感情分析（IMDb）や生物医学のオントロジーラベリング（UMLS）など異なるドメインにも一般化するか？

主な発見

モデル	ベースライン訓練	LlamBERT 訓練	LlamBERT 訓練+追加	追加+訓練を結合
distilbert-base	91.23	90.77	92.12	92.53
bert-base	92.35	91.58	92.76	93.47
bert-large	94.29	93.31	94.07	95.03
roberta-base	94.74	93.53	94.28	95.23
roberta-large	96.54	94.83	94.98	96.68

• IMDb では、RoBERTa-large を用いた LlamBERT が最先端の性能を達成（テストセットで 96.68%）しました。
• LlamBERT は、ゴールド基準の精度にほぼ近づきつつ、著しく低いラベリングコストで達成します。Llama-2-70b-chat で追加の未ラベルデータにラベルを付けると、精度はわずかに向上します。
• Llama-2-70b-chat で 10,000 件をラベリングすることは、精度と効率のバランスとして適切で、RoBERTa-large はラベリングノイズに対して高いロバスト性を示します。
• UMLS 実験では、LlamBERT はベースラインの BERT/RoBERTa の結果を上回り、組み合わせラベリング（Llama-2-70b-chat + ゴールドデータ）は BiomedBERT-large のようなドメイン特化モデルに近づくか、同等に近づく。
• 結合戦略は、LLM ラベリングのみを用いる場合より僅差で上回ることが多く、大規模注釈に対するハイブリッド手法の実用的な利点を示唆します。