[論文レビュー] Can Large Language Models emulate an inductive Thematic Analysis of semi-structured interviews? An exploration and provocation on the limits of the approach and the model

Stefano De Paoli|arXiv (Cornell University)|May 22, 2023

Computational and Text Analysis Methods被引用数 12

ひとこと要約

本論文は GPT-3.5-Turbo を用いて半構造化インタビューデータにおける帰納的テーマ分析の要素を模倣しようと実験し、LLM が再現できるものとできないものについて議論する。

ABSTRACT

Large Language Models (LLMs) have emerged as powerful generative Artificial Intelligence solutions which can be applied to several fields and areas of work. This paper presents results and reflection of an experiment done to use the model GPT 3.5-Turbo to emulate some aspects of an inductive Thematic Analysis. Previous research on this subject has largely worked on conducting deductive analysis. Thematic Analysis is a qualitative method for analysis commonly used in social sciences and it is based on interpretations made by the human analyst(s) and the identification of explicit and latent meanings in qualitative data. Attempting an analysis based on human interpretation with an LLM clearly is a provocation but also a way to learn something about how these systems can or cannot be used in qualitative research. The paper presents the motivations for attempting this emulation, it reflects on how the six steps to a Thematic Analysis proposed by Braun and Clarke can at least partially be reproduced with the LLM and it also reflects on what are the outputs produced by the model. The paper used two existing datasets of open access semi-structured interviews, previously analysed with Thematic Analysis by other researchers. It used the previously produced analysis (and the related themes) to compare with the results produced by the LLM. The results show that the model can infer at least partially some of the main Themes. The objective of the paper is not to replace human analysts in qualitative analysis but to learn if some elements of LLM data manipulation can to an extent be of support for qualitative research.

研究の動機と目的

• LLM を用いて帰納的テーマ分析を模倣しようとする動機づけと正当化。
• LLM が Braun and Clarke の six-step thematic analysis の要素を再現できるかを調査する。
• 定性研究の文脈における LLM の出力と限界について振り返る。

提案手法

• 他研究者によってすでにテーマ分析が行われた、公開済みの半構造化インタビューデータセットを2つ使用する。
• これらのデータセットに対して GPT-3.5-Turbo を適用し、帰納的テーマ分析の側面を模倣する。
• LLM に由来するテーマを、事前に作成された分析とテーマと比較して部分的一致を評価する。
• モデルが出力する結果の性質と、それらが定性研究実践にもたらす意味について論じる。

実験結果

リサーチクエスチョン

• RQ1 LLM は事前の半構造化インタビューのテーマ分析で特定された主なテーマを推測できるか？
• RQ2 Braun and Clarke の six-step テーマ分析をLLMがどの程度再現または近似できるか。
• RQ3 定性研究を支援するためのLLM生成出力の強みと限界は何ですか？

主な発見

• LLM はデータセットの主なテーマのいくつかを部分的に推測できる。
• 本研究は定性研究タスクに対するLLMsの潜在的な支援と顕著な限界の両方を浮き彫りにする。
• 目的は人間の分析者を置き換えることではなく、LLMのデータ操作要素が定性研究を支援できるかを探ること。
• 分析は、LLMsが帰納的テーマ分析にどのように寄与し、あるいは複雑にするかについての内省を促す。