[論文レビュー] Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research

Sreyoshi Bhaduri, Satya Kapoor+3 more|arXiv (Cornell University)|Aug 20, 2024

Human Resource and Talent Management被引用数 5

ひとこと要約

論文は Retrieval Augmented Generation (RAG) を大規模言語モデルと組み合わせた場合が、才能管理における半構造化インタビューデータのトピックモデリングを実施する新米の定性的研究支援者として機能し、他の prompting 方法より優れており、従来の定性的研究から厳密さを維持するためのガイドラインを提供することを示している。

ABSTRACT

Qualitative data collection and analysis approaches, such as those employing interviews and focus groups, provide rich insights into customer attitudes, sentiment, and behavior. However, manually analyzing qualitative data requires extensive time and effort to identify relevant topics and thematic insights. This study proposes a novel approach to address this challenge by leveraging Retrieval Augmented Generation (RAG) based Large Language Models (LLMs) for analyzing interview transcripts. The novelty of this work lies in strategizing the research inquiry as one that is augmented by an LLM that serves as a novice research assistant. This research explores the mental model of LLMs to serve as novice qualitative research assistants for researchers in the talent management space. A RAG-based LLM approach is extended to enable topic modeling of semi-structured interview data, showcasing the versatility of these models beyond their traditional use in information retrieval and search. Our findings demonstrate that the LLM-augmented RAG approach can successfully extract topics of interest, with significant coverage compared to manually generated topics from the same dataset. This establishes the viability of employing LLMs as novice qualitative research assistants. Additionally, the study recommends that researchers leveraging such models lean heavily on quality criteria used in traditional qualitative research to ensure rigor and trustworthiness of their approach. Finally, the paper presents key recommendations for industry practitioners seeking to reconcile the use of LLMs with established qualitative research paradigms, providing a roadmap for the effective integration of these powerful, albeit novice, AI tools in the analysis of qualitative datasets within talent

研究の動機と目的

• 定性的洞察とスケーラブルな AI ツールを才能管理研究に統合する動機付け。
• 半構造化インタビュートランスクリプトを分析する実用的な RAG ベースの LLM ワークフローを実証する。
• 標準的な指標を用いて LLM ベースのトピックモデリングを手動の定性的コーディングとベンチマークする。
• AI を用いた定性的分析における厳密さ、信頼性、透明性を維持するための方法論的考慮事項を強調する。
• AI ツールと定性的パラダイムを統合する実務家への実務的な推奨を提供する。

提案手法

• LangChain を用いて動的プロンプト（Few-shot, Chain-of-Thought）を作成し、トランスクリプト上でトピックモデリングを実行する LLM（Anthropic Claude2）をガイドする。
• ゼロショット、 Few-shot、Chain-of-Thought、RAG の四つの prompting 戦略を推進する。
• LLM を新米の研究者として扱い、専門家の指導と反復的なトピック抽出にプロンプトを根拠づける。
• RAG の情報過多を防ぎ、幻覚を低減するためにインタビュー記録をカスタム知識ベースとして提供する。
• 精度、再現率、F1 をコサインベースの語彙レベルマッチングで用いて、生成トピックを手動でコーディングした金標準と比較評価する。
• 埋め込みモデル（DistilBert、BERT、Roberta）を prompting 戦略間で比較し、堅牢性を評価する。

Figure 1 . Comparison across prompting approaches

実験結果

リサーチクエスチョン

• RQ1 RAG を用いた LLM は才能管理の半構造化インタビューデータからトピックを信頼性高く抽出できるか？
• RQ2 異なる prompting 戦略（ゼロショット、Few-shot、Chain-of-Thought、RAG）はトピック識別の精度、再現率、F1 にどのように影響するか？
• RQ3 LLM を新米研究者として扱うことはプロンプト設計とトピック解釈性を改善するか？
• RQ4 AI を従来の定性的分析と統合する際に厳密さと信頼性を確保するベストプラクティスは何か？

主な発見

Embedding Model	Prompting Technique	Precision (%)	Recall (%)	F1-Score (%)
Distillbert-base-uncased	Chain of Thought	67	62	64
Distillbert-base-uncased	Few Shot	72	67	70
Distillbert-base-uncased	Zero Shot	68	66	67
Distillbert-base-uncased	RAG	79	80	79
Bert-base-uncased	Chain of Thought	56	48	52
Bert-base-uncased	Few Shot	64	56	60
Bert-base-uncased	Zero Shot	59	55	57
Bert-base-uncased	RAG	70	70	70
Roberta-large	Chain of Thought	89	85	87
Roberta-large	Few Shot	90	87	88
Roberta-large	Zero Shot	89	86	88
Roberta-large	RAG	92	91	91

• RAG は埋め込みモデル間で一貫してゼロショット、Few-shot、Chain-of-Thought prompting を上回り、精度、再現率、F1 を向上させる。
• Roberta-large with RAG は最も高い指標を達成: Precision 92%, Recall 91%, F1 91%。
• モデル全体で、RAG は LDA ベースのアプローチと比較してトピック識別の強化と文脈化されたテーマの豊富さを示す。
• LLM を新米研究者として扱うことは、トピック抽出と解釈をより適切に導くプロンプト設計に役立つ。
• 焦点を絞った検索戦略を用いることで情報過多と幻覚を抑制し、金標準のトピックとの整合性を改善する。

Figure 2 . Sample of the interview transcript