[論文レビュー] Using Large Language Models for Qualitative Analysis can Introduce Serious Bias

Julian Ashwin, Aditya Chhabra+1 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 9

ひとこと要約

要約: 本論文は、LLMがオープンエンドのインタビューの定性的注釈にバイアスを及ぼしうること、専門家の注釈に基づく小規模カスタムモデル（iQual）の訓練がLLMsを上回りバイアスを減らすこと、データ拡張は有意な効果を限定的にしかもたらさない可能性があることを示す。

ABSTRACT

Large Language Models (LLMs) are quickly becoming ubiquitous, but the implications for social science research are not yet well understood. This paper asks whether LLMs can help us analyse large-N qualitative data from open-ended interviews, with an application to transcripts of interviews with Rohingya refugees in Cox's Bazaar, Bangladesh. We find that a great deal of caution is needed in using LLMs to annotate text as there is a risk of introducing biases that can lead to misleading inferences. We here mean bias in the technical sense, that the errors that LLMs make in annotating interview transcripts are not random with respect to the characteristics of the interview subjects. Training simpler supervised models on high-quality human annotations with flexible coding leads to less measurement error and bias than LLM annotations. Therefore, given that some high quality annotations are necessary in order to asses whether an LLM introduces bias, we argue that it is probably preferable to train a bespoke model on these annotations than it is to use an LLM for annotation.

研究の動機と目的

• ロヒンガ難民とコックスバラズのホストの大規模Nの定性インタビュー分析をLLMが正確に注釈できるか評価する。
• 専門家注釈と比較してLLM注釈に体系的なバイアスが存在するかを評価する。
• LLMベースの注釈と、質の高い人間注釈で訓練されたiQual supervisedモデリング手法を比較する。
• LLMによるデータ拡張がiQualの性能に信頼できる改善をもたらすかを調査する。
• 解釈的な定性的分析とスケーラブルなNLPツールのバランスについて指針を提供する。

提案手法

• 3つのLLM（ChatGPT、Llama 2 (13B)、Llama 2 chat variant）を用いてQAレベルで2,407件のオープンエンド面接 transcriptを注釈。詳細なプロンプト・Few-shot学習・思考過程を含むプロンプトを適用。
• iQualを開発：高品質な専門家注釈を用いて各コードごとに別々の教師ありモデルを訓練し、交差検証と200件の保持テストセットでアウトオブサンプル予測を評価。
• 注釈アプローチをアウトオブサンプルのF1スコアと精度で比較し予測性能を評価。
• 予測過誤の過剰推定パターンを分析し、予測誤差が被験者特性（例：難民ステータス、性別、教育レベル）と回帰的に相関するかを検証してバイアスを調査。
• LLM生成テキストによるデータ拡張を用いてiQualモデルを訓練し、性能とバイアスに与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 LLMsは専門家ラベルデータと比較してオープンエンドの定性インタビューデータに正確な注釈を提供できるか。
• RQ2 LLM注釈は被面者の特徴に関してバイアスを含むか、そしてこのバイアスが下流の推論にどう影響するか。
• RQ3 iQualアプローチ（専門家注釈で訓練）はアウトオブサンプル予測とバイアスの維持においてLLMsより優れているか。
• RQ4 LLMベースのデータ拡張は新たなバイアスを導入せずにiQualの性能を意味的に改善できるか。
• RQ5 比較結果から定性的分析にLLMsを適用する際の実務的な推奨は何か。

主な発見

• LLMsはコード全体のアウトオブサンプルF1スコアでiQualに劣ることが多く、ChatGPTがLLMsの中で一般的に最良であるもののiQualを下回る。
• 3つのLLMsはいずれも注釈を過剰に予測する体系的な傾向を示し、コード間の有病率推定にバイアスを生じさせる（例：世俗的志向 vs 宗教的志向）。
• LLMの予測誤差は偶然ではなく、回帰テストで被面者の特徴と結びつくバイアスを示す可能性があり、これに依存すると誤解を生む可能性がある。
• iQualは1つのコードでのみバイアスを示すが、専門家レベルの推定と小さめの標準誤差で達成する。
• LLMによるデータ拡張はこの文脈ではiQualの性能向上に対してごく限定的または実質的な改善をもたらさない。
• 総じて、専門家注釟で訓練された特注モデルが正確さとバイアス低減の点で優れており、LLMsは補助的なツールとして用いるのが適切であり代替には不適。