[論文レビュー] MEGAnno+: A Human-LLM Collaborative Annotation System

Hannah Kim, Kushan Mitra+3 more|arXiv (Cornell University)|Feb 28, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

MEGAnno+ は、選択的かつ人間による検証を組み合わせた LLM をアノテーターとして統合することで、効率的で高品質なデータラベリングを可能にする人間-LLM協働アノテーションシステムです。LLMエージェント管理、強固なLLMプロンプティング、低信頼度予測の探索的ヒューマンレビューをサポートし、人間のみまたはLLMのみのアプローチに比べて、ラベリングの効率性と信頼性を顕著に向上させます。

ABSTRACT

Large language models (LLMs) can label data faster and cheaper than humans for various NLP tasks. Despite their prowess, LLMs may fall short in understanding of complex, sociocultural, or domain-specific context, potentially leading to incorrect annotations. Therefore, we advocate a collaborative approach where humans and LLMs work together to produce reliable and high-quality labels. We present MEGAnno+, a human-LLM collaborative annotation system that offers effective LLM agent and annotation management, convenient and robust LLM annotation, and exploratory verification of LLM labels by humans.

研究の動機と目的

• データアノテーション中に、LLM が複雑な社会的・文化的・ドメイン特異的文脈を理解する能力に欠けるという課題を解決すること。
• LLM の高速性と人間の専門知識を組み合わせることで、ラベリングコストと時間を削減しながらも、高品質なアノテーションを維持すること。
• LLMエージェント、ラベル、メタデータの効果的な管理を可能にするスケーラブルなアノテーションシステムの設計。
• 誤りやバイアスを是正するために、LLM が生成したラベルのうち低信頼度のものに対して選択的に探索的ヒューマン検証を実施すること。
• 人間が関与するデータラベリングパイプライン内で LLM をアノテーターとして統合する実用的なフレームワークの提供。

提案手法

• システムは人間-LLM協働ワークフローを採用：まず LLM がラベルを生成し、その後で低信頼度予測の対象となるものに対して的を絞ったヒューマン検証を実施。
• カスタマイズ可能な LLM エージェントをサポートし、モデルや温度設定を自由に設定できるため、ユーザーは最適な構成をテスト・選択可能。
• MEGAnno+ は、LLM モデル、アノテーション、信頼度スコアや logprobs を含むメタデータを統合的に保存・管理するバックエンドを提供。
• ヒューマンアノテーターが LLM 出力のうち問題のありそうなものを的確に特定できるように、柔軟な検索および推薦インターフェースを備える。
• 大規模な LLM アノテーションジョブにおけるリアルタイムの進捗状況の追跡を可能にし、ワークフローの透明性を向上。
• プロンプトテンプレーティングとデータに適応したプロンプト設計によるイン・コンテキスト学習をサポートし、一貫性とパフォーマンスの向上を図る。

実験結果

リサーチクエスチョン

• RQ1 LLM を人間が関与するアノテーションパイプラインに効果的に統合することで、ラベリングの効率性と品質をどのように向上させられるか？
• RQ2 協働アノテーション環境において、LLMエージェント、その出力、関連メタデータを管理するために必要なシステムレベルの構成要素は何か？
• RQ3 低信頼度の LLM 生成ラベルに対してヒューマン検証を的を絞って行うことで、コスト効率を最大限に高めることは可能か？
• RQ4 プロンプト設計やモデル設定（例：温度）が、LLM アノテーションの信頼性にどの程度影響を与えるか？
• RQ5 機密性の高いまたはドメイン特異的なデータのラベリングに商用 LLM を使用する際の実用的課題とリスクは何か？

主な発見

• 先行研究および MEGAnno+ のワークフローの支援により、LLM を用いることで人間のみのアノテーションに比べてラベリングコストを最大 96% 削減できることが示された。
• 特に低信頼度予測のヒューマン検証を組み合わせた場合、LLM が生成したラベルは特定の分類タスクにおいて人間アノテーターのラベルを上回ることもある。
• ユーザーは、温度=0 と温度=0.7 などの異なる LLM 設定を比較し、特定のタスクに最も信頼性が高いモデルを選択できる。
• 信頼度が低いラベル（例：95% 未満）に限定してヒューマン検証を実施することで、最小限の人的努力でラベル品質を著しく向上できる。
• MEGAnno+ は大規模な LLM アノテーションジョブにおけるリアルタイム進捗追跡をサポートし、ワークフローの透明性と使いやすさを向上。
• システムのポストプロセッシングおよびメタデータ処理は、LLM のネイティブな能力に制限されており、GPT-4 では logprobs が利用できないため、不確実性推定に影響を及ぼす。