[論文レビュー] Exploring Qualitative Research Using LLMs

Muneera Bano, Didar Zowghi+1 more|arXiv (Cornell University)|Jun 23, 2023

Computational and Text Analysis Methods被引用数 11

ひとこと要約

本論文はAlexaアプリのレビューに対する人間とLLMの分類および推論を比較し、部分的な整合を見出し、人間とLLMの協働による相乗効果の可能性を示唆する。

ABSTRACT

The advent of AI driven large language models (LLMs) have stirred discussions about their role in qualitative research. Some view these as tools to enrich human understanding, while others perceive them as threats to the core values of the discipline. This study aimed to compare and contrast the comprehension capabilities of humans and LLMs. We conducted an experiment with small sample of Alexa app reviews, initially classified by a human analyst. LLMs were then asked to classify these reviews and provide the reasoning behind each classification. We compared the results with human classification and reasoning. The research indicated a significant alignment between human and ChatGPT 3.5 classifications in one third of cases, and a slightly lower alignment with GPT4 in over a quarter of cases. The two AI models showed a higher alignment, observed in more than half of the instances. However, a consensus across all three methods was seen only in about one fifth of the classifications. In the comparison of human and LLMs reasoning, it appears that human analysts lean heavily on their individual experiences. As expected, LLMs, on the other hand, base their reasoning on the specific word choices found in app reviews and the functional components of the app itself. Our results highlight the potential for effective human LLM collaboration, suggesting a synergistic rather than competitive relationship. Researchers must continuously evaluate LLMs role in their work, thereby fostering a future where AI and humans jointly enrich qualitative research.

研究の動機と目的

• 定性的研究におけるAI主導のLLMの役割理解を促す。
• LLMが定性的データを人間分析者と比較してどれだけうまく分類できるかを評価する。
• 定性的分類における人間とLLMsの推論過程を調査する。
• 定性的研究における人間とLLMsの効果的な協働の可能性を探る。

提案手法

• 人間の分析者によって初めに分類されたAlexaアプリのレビューの小規模サンプルを対象に実験を行った。
• LLMsにレビューを分類させ、各分類の根拠となる推論を提示させた。
• LLMの分類と推論を人間の分類と人間の推論と比較した。
• 人間、ChatGPT 3.5、GPT-4の分類間の整合を測定した。
• 人間とLLMsの推論様式の差異を分析した。

実験結果

リサーチクエスチョン

• RQ1 Alexaアプリのレビューに対するLLMの分類が人間の分類とどれだけ一致しているか？
• RQ2 定性的データを分類する際の人間とLLMsの推論過程はどう比較されるか？
• RQ3 人間、ChatGPT 3.5、GPT-4の分類間の一致度はどの程度か？
• RQ4 人間とLLMsは協働の可能性を示す相補的な強みを示すか？

主な発見

• 人間とChatGPT 3.5の間で分類のおよそ3分の1が一致していた。
• 人間とGPT-4の間の整合はやや低く（25％を超える程度）。
• 2つのAIモデルは互いにより高い整合を示し、出現の半数超で一致していた。
• 3つの方法すべてでのコンセンサスは約1/5の分類で発生した。
• 人間は個々の経験に基づく傾向があり、LLMsは語の選択とアプリの構成要素に基づく推論を行う。
• 結果は定性的研究における人間とLLMの協働の相乗効果の可能性を示唆している。