[論文レビュー] How to use LLMs for Text Analysis

Petter Törnberg|arXiv (Cornell University)|Jul 24, 2023

Natural Language Processing Techniques被引用数 17

ひとこと要約

このガイドは、社会科学におけるテキスト分析のためのLLMsの活用方法を示し、ステップバイステップの Python ワークフロー、プロンプト、検証、およびポピュリズム課題の例を含む説明です。

ABSTRACT

This guide introduces Large Language Models (LLM) as a highly versatile text analysis method within the social sciences. As LLMs are easy-to-use, cheap, fast, and applicable on a broad range of text analysis tasks, ranging from text annotation and classification to sentiment analysis and critical discourse analysis, many scholars believe that LLMs will transform how we do text analysis. This how-to guide is aimed at students and researchers with limited programming experience, and offers a simple introduction to how LLMs can be used for text analysis in your own research project, as well as advice on best practices. We will go through each of the steps of analyzing textual data with LLMs using Python: installing the software, setting up the API, loading the data, developing an analysis prompt, analyzing the text, and validating the results. As an illustrative example, we will use the challenging task of identifying populism in political texts, and show how LLMs move beyond the existing state-of-the-art.

研究の動機と目的

• 社会科学へのテキスト分析へLLMsを適用する実践的でローコードのワークフローを示す。
• APIアクセスの設定、データの読み込み、前処理を最小限にしてLLM処理用にテキストを準備する方法を示す。
• 信頼性の高い結果を保証するためのプロンプト設計と反復的検証に関するガイダンスを提供する。
• LLMの結果と人間のコーディングを比較するポピュリズム検出ケースでアプローチを具体的に示す。

提案手法

• LLMsをテキスト分析に使用するためのステップバイステップのPythonベースのワークフローを提供します（APIアクセスのサインアップ、データの読み込み、プロンプト設計、LLMの呼び出し、結果の解析）。
• ポピュリズム測定タスクを用いて、LLMsが言語や文脈を超えて文脈依存の意味を捕捉できることを示す。
• 文脈ウィンドウに合わせてテキストを分割する方法と、機械可読な形式で出力をコード化する方法を説明する。
• Krippendorff’s alpha を用いた検証と人間のコーダーとの比較を詳述する。
• 不一致分析に基づく反復的な概念とプロンプト開発を推奨する。
• Jupyter Notebook とサンプルコードを含む補足資料を提供します。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、政治テキストにおける皮肉や文脈的意味の解釈など、従来の計算手法では難しいテキスト分析タスクを実行できるか？
• RQ2 信頼性が高く再現可能なコーディング出力をLLMsから得るために、プロンプトをどのように設計・検証できるか？
• RQ3 ポピュリズムを測定する際、言語や文脈を跨いで、LLM生成の分析と人間のコーダーとの整合性はどの程度か？
• RQ4 限られたプログラミング経験しかない社会科学者向けの実践的ワークフロー（データ読み込み、プロンプト設計、API使用）は何か？

主な発見

• LLMsは、文脈的解釈や皮肉を含む、従来手法に挑む広範なテキスト分析タスクを実行する可能性を示している。
• ポピュリズムの事例タスクは、LLMsが人間のコーダーと実質的な一致を示す出力を生成できることを示しているが、検証が不可欠である。
• Krippendorff’s alpha for the LLM-based validation in the example is 0.635, indicating relatively high correspondence given differing instructions.
• Krippendorff’s alpha for the LLM-based validation in the example is 0.635, indicating relatively high correspondence given differing instructions.
• 本例のLLMベースの検証における Krippendorff’s alpha は 0.635 で、指示の違いを考慮すると比較的高い対応関係を示す。
• 元のデータセットの人間コーダーは Krippendorff’s alpha 0.827 を達成しており、共同作業時のコーダー間一致がより高いことを反映している。
• 初期結果を超える精度と信頼性を向上させるためには、プロンプト設計と反復的な開発が重要である。
• 本ガイドは、モデルの偏見、APIデータ取り扱い、スピード/コストの考慮、倫理的含意についての透明性を強調している。