[論文レビュー] Best Practices for Text Annotation with Large Language Models

Petter Törnberg|arXiv (Cornell University)|Feb 5, 2024

Natural Language Processing Techniques被引用数 23

ひとこと要約

本稿は、テキストを注釈付けするための大規模言語モデル（LLMs）の標準とベストプラクティスの包括的なセットを提案し、信頼性が高く再現性があり倫理的な研究を目指す。

ABSTRACT

Large Language Models (LLMs) have ushered in a new era of text annotation, as their ease-of-use, high accuracy, and relatively low costs have meant that their use has exploded in recent months. However, the rapid growth of the field has meant that LLM-based annotation has become something of an academic Wild West: the lack of established practices and standards has led to concerns about the quality and validity of research. Researchers have warned that the ostensible simplicity of LLMs can be misleading, as they are prone to bias, misunderstandings, and unreliable results. Recognizing the transformative potential of LLMs, this paper proposes a comprehensive set of standards and best practices for their reliable, reproducible, and ethical use. These guidelines span critical areas such as model selection, prompt engineering, structured prompting, prompt stability analysis, rigorous model validation, and the consideration of ethical and legal implications. The paper emphasizes the need for a structured, directed, and formalized approach to using LLMs, aiming to ensure the integrity and robustness of text annotation practices, and advocates for a nuanced and critical engagement with LLMs in social scientific research.

研究の動機と目的

• 品質と妥当性に関する懸念から、LLMベースのテキスト注釈における標準化された実践の必要性を動機づける。
• モデル選択、プロンプティング、検証、倫理・法的考慮事項を網羅する構造化フレームワークを提案する。
• 社会科学的注釈の整合性を維持するために、LLMsの厳密で指向的かつ形式化された活用を推進する。

提案手法

• 注釈タスクにおけるモデル選択と評価の基準を概説する。
• 一貫性を向上させるためのプロンプトエンジニアリングと構造化プロンプティング技法を導入する。
• プロンプト安定性分析と厳密なモデル検証手順を提案する。
• LLMベースの注釈における倫理的・法的・方法論的含意に対処する。

実験結果

リサーチクエスチョン

• RQ1 信頼性の高いLLMベースのテキスト注釈を保証するために、どのような標準と実践が必要か？
• RQ2 妥当性と再現性を最大化するために、研究者はどのようにモデルを選択しプロンプトを設計すべきか？
• RQ3 LLM支援注釈において不可欠な検証と倫理的配慮は何か？

主な発見

• LLMsは注釈に利点をもたらすが、適切に管理されない場合、バイアスや誤解、信頼できない結果を生み出す可能性がある。
• モデル選択、プロンプティング戦略、検証を網羅する包括的なフレームワークは、信頼性と再現性を向上させる。
• 責任ある研究実践を確保するために、LLMベースの注釈における倫理的・法的含意を考慮する必要がある。