[논문 리뷰] Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research

Sreyoshi Bhaduri, Satya Kapoor외 3명|arXiv (Cornell University)|2024. 08. 20.

Human Resource and Talent Management인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델이 Retrieval Augmented Generation(RAG)과 함께 초보 질적 연구 보조자로 작용하여 인재 관리의 반구조화된 인터뷰 데이터에 대한 주제 모델링을 수행하고, 다른 프롬프팅 방법보다 우수하며, 전통적인 질적 연구의 엄격함을 유지하기 위한 가이드라인을 제공합니다.

ABSTRACT

Qualitative data collection and analysis approaches, such as those employing interviews and focus groups, provide rich insights into customer attitudes, sentiment, and behavior. However, manually analyzing qualitative data requires extensive time and effort to identify relevant topics and thematic insights. This study proposes a novel approach to address this challenge by leveraging Retrieval Augmented Generation (RAG) based Large Language Models (LLMs) for analyzing interview transcripts. The novelty of this work lies in strategizing the research inquiry as one that is augmented by an LLM that serves as a novice research assistant. This research explores the mental model of LLMs to serve as novice qualitative research assistants for researchers in the talent management space. A RAG-based LLM approach is extended to enable topic modeling of semi-structured interview data, showcasing the versatility of these models beyond their traditional use in information retrieval and search. Our findings demonstrate that the LLM-augmented RAG approach can successfully extract topics of interest, with significant coverage compared to manually generated topics from the same dataset. This establishes the viability of employing LLMs as novice qualitative research assistants. Additionally, the study recommends that researchers leveraging such models lean heavily on quality criteria used in traditional qualitative research to ensure rigor and trustworthiness of their approach. Finally, the paper presents key recommendations for industry practitioners seeking to reconcile the use of LLMs with established qualitative research paradigms, providing a roadmap for the effective integration of these powerful, albeit novice, AI tools in the analysis of qualitative datasets within talent

연구 동기 및 목표

• 질문 관리 연구에서 확장 가능한 AI 도구와 질적 통찰을 결합하는 것을 촉진한다.
• 반구조화된 인터뷰 트랜스크립트를 분석하기 위한 실용적인 RAG 기반 LLM 워크플로를 시연한다.
• 표준 지표를 사용하여 수작업 질적 코딩과 LLM 기반 주제 모델링을 벤치마크한다.
• AI 보조 질적 분석에서 엄격성, 신뢰성, 투명성을 유지하기 위한 방법론적 고려사항을 강조한다.
• 실무자가 AI 도구와 질적 패러다임을 조화시키기 위한 실행 가능한 권고안을 제공한다.

제안 방법

• LangChain을 사용하여 LLM(Anthropic Claude2)이 트랜스크립트에 대한 주제 모델링을 수행하도록 지침하는 동적 프롬프트(소수 예시, 사고의 연쇄)를 구성한다.
• 제로샷, 소수 샷, 사고의 연쇄, 그리고 Retrieval Augmented Generation(RAG) 네 가지 프롬프팅 전략을 촉진한다.
• LLM을 초보 연구자로 간주하여 전문가의 가이드 및 반복적 주제 추출에 근거한 프롬프트를 설정한다.
• 정보 과부하를 방지하고 환각을 줄이기 위해 인터뷰 트랜스크립트를 RAG의 커스텀 지식 기반으로 제공한다.
• 정밀도, 재현율, F1을 코사인 기반 단어 수준 매칭으로 평가하여 생성된 주제를 수작업으로 코딩된 골드 표준과 비교한다.
• 프롬프팅 전략 전반에서 임베딩 모델(DistilBert, BERT, Roberta)을 비교하여 강건성을 평가한다.

Figure 1 . Comparison across prompting approaches

실험 결과

연구 질문

• RQ1 RAG로 보강된 LLM이 인재 관리의 반구조화된 인터뷰 데이터에서 주제를 신뢰할 수 있게 추출할 수 있는가?
• RQ2 다양한 프롬프팅 전략(제로샷, 소수 샷, 사고의 연쇄, RAG)이 주제 식별의 정밀도, 재현율, F1에 대해 어떤 차이를 보이나?
• RQ3 LLM을 초보 연구자로 다루는 것이 프롬프트 설계와 주제 해석성에 어떤 개선을 가져오는가?
• RQ4 AI 도구를 전통적 질적 분석과 통합할 때 엄격성 및 신뢰성을 보장하는 모범 사례는 무엇인가?

주요 결과

• RAG는 임베딩 모델 전반에서 정밀도, 재현율, F1에서 제로샷, 소수 샷, 사고의 연쇄 프롬프팅보다 일관되게 우수하다.
• Roberta-large와 RAG가 가장 높은 지표를 달성: 정밀도 92%, 재현율 91%, F1 91%.
• 모델 전반에 걸쳐 RAG는 LDA 기반 접근법에 비해 더 강한 주제 식별 및 맥락화된 주제를 제공합니다.
• LLM을 초보 연구자로 다루는 것은 주제 추출과 해석 지침을 더 잘 안내하는 프롬프트 설계에 도움이 된다.
• 집중적 검색 전략은 정보 과부하와 환각을 완화하여 골드 표준 주제와의 정렬성을 높인다.

Figure 2 . Sample of the interview transcript