[論文レビュー] Using Large Language Models to Support Thematic Analysis in Empirical Legal Studies

Jakub Drápal, Hannes Westermann+1 more|arXiv (Cornell University)|Oct 28, 2023

Law in Society and Culture被引用数 5

ひとこと要約

本論文は、窃盗事件の刑事裁判所判決の主題的分析を支援するための新規なLLM駆動フレームワークを提案する。このフレームワークは、初期コード作成、主題の発見、ゼロショット分類を自動化することで、法的専門家が作業を迅速化できる。785件の事実的記述に対してGPT-4を用いて、高品質な初期コードを生成し、専門家のフィードバックで改善した結果、専門家が特定した主題を予測するゼロショット性能が高く（R@1: 0.66）、実証的法的研究における帰納的コード作成の高速化に大きな可能性を示している。

ABSTRACT

Thematic analysis and other variants of inductive coding are widely used qualitative analytic methods within empirical legal studies (ELS). We propose a novel framework facilitating effective collaboration of a legal expert with a large language model (LLM) for generating initial codes (phase 2 of thematic analysis), searching for themes (phase 3), and classifying the data in terms of the themes (to kick-start phase 4). We employed the framework for an analysis of a dataset (n=785) of facts descriptions from criminal court opinions regarding thefts. The goal of the analysis was to discover classes of typical thefts. Our results show that the LLM, namely OpenAI's GPT-4, generated reasonable initial codes, and it was capable of improving the quality of the codes based on expert feedback. They also suggest that the model performed well in zero-shot classification of facts descriptions in terms of the themes. Finally, the themes autonomously discovered by the LLM appear to map fairly well to the themes arrived at by legal experts. These findings can be leveraged by legal researchers to guide their decisions in integrating LLMs into their thematic analyses, as well as other inductive coding projects.

研究の動機と目的

• 実証的法的研究における帰納的コード作成の時間的負担を軽減するため、大規模言語モデル（LLMs）を主題的分析ワークフローに統合すること。
• LLMsが、窃盗事件の生の事実的記述から高品質な初期コードを生成できるかどうかを評価すること。
• 専門家のフィードバックがLLMが生成するコードや主題の品質をどの程度向上できるかを評価すること。
• 事前にラベル付けされたデータがなく、ゼロショット設定で、LLMが自律的に主題を発見し分類できるかを調査すること。
• 実際の刑事法文脈において、LLMが発見した主題と法的専門家が特定した主題との整合性を検証すること。

提案手法

• フレームワークは、主題的分析の段階2および3（初期コード作成と主題発見）にGPT-4を統合する。
• 初期コードはプロンプト工学により生成され、その後、法的専門家からの自然言語フィードバックを用いて改善された。
• 主題は、生成されたコードに対するクラスタリングに類似した推論を繰り返し適用することで発見された。
• ゼロショット分類の評価は、リCALL at 1および3（R@1, R@3）を用いて、専門家が定義した主題に事実を分類する性能を測定した。
• LLMのエンドツーエンド性能は、LLMが自律的に発見した主題と、法的専門家が手作業で特定した主題を比較することで評価された。
• 重要な段階で専門家の監視を適用し、主題の整合性と研究目的への適合性を向上させた。

Figure 3: The diagram describes the proposed framework supporting phases 2 and 3 of thematic analysis. The data points are batched (1) to fit the LLM’s prompt. Initial codes for each batch are predicted (2) in an iterative fashion utilizing the interim results (3 and 4). Expert feedback on the initi

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMは、データの初期コード作成をどの程度うまく行えるか？
• RQ2 RQ2: 領域専門家が自然言語フィードバックを用いて初期コードの品質をどの程度向上できるか？
• RQ3 RQ3: LLMは、分析対象のデータポイントの主題をどの程度うまく予測できるか？
• RQ4 RQ4: LLMは、自律的に主題を発見し、それらを分析対象のデータに関連付けることができるか？

主な発見

• LLMは、785件の窃盗事件の事実的記述に対して妥当な初期コードを生成し、専門家のフィードバックにより品質が著しく向上した。
• 専門家が定義した主題に事実をゼロショット分類した結果、全体のR@1は0.66、R@3は0.82を達成し、大多数のカテゴリで優れた性能を示した。
• 主題ごとの性能にばらつきがあり、GPT-4は「エネルギーの窃盗」に対して完全なゼロショットリCALL（R@1 = 1.0）を達成し、「店舗における窃盗」に対しても高い性能（R@1 = 0.95）を示した。
• LLMは自律的に8つの主題を発見し、法的専門家が特定した14の主題と比較的よく一致した。一部のLLMの主題は複数の専門家の主題を統合しており（例：「商業施設における窃盗」は「職場での窃盗」と「他の物を破壊して盗む」を含む）、効果的な要約を示した。
• LLMは専門家が見逃していた行動（例：「ジムからの窃盗」）も特定したため、新たなパターンの発見に潜在的であることが示された。
• 強力な性能を示したものの、「地下の強盗」や「開放的アクセス場所からの窃盗」などの主題ではリCALLが低く、繊細なまたはあまり一般的でない窃盗形態を捉える能力に限界があることが示された。

Figure 5: The graph shows mapping between themes discovered by subject matter expert (left) and the themes discovered by the proposed framework (right).