[논문 리뷰] Large Language Models in Qualitative Research: Uses, Tensions, and Intentions

Hope Schroeder, Marianne Aubin Le Quéré외 3명|arXiv (Cornell University)|2024. 10. 09.

Computational and Text Analysis Methods인용 수 6

한 줄 요약

본 논문은 twenty명의 질적 연구자들의 관점을 제시하며, 대형 언어 모델(LLMs)을 질적 연구에서 사용하는 데 있어 잠재적 활용, 긴장 요인, 그리고 LLM 보조 분석을 위한 윤리적 지침과 설계 원칙의 필요성을 강조한다.

ABSTRACT

Qualitative researchers use tools to collect, sort, and analyze their data. Should qualitative researchers use large language models (LLMs) as part of their practice? LLMs could augment qualitative research, but it is unclear if their use is appropriate, ethical, or aligned with qualitative researchers' goals and values. We interviewed twenty qualitative researchers to investigate these tensions. Many participants see LLMs as promising interlocutors with attractive use cases across the stages of research, but wrestle with their performance and appropriateness. Participants surface concerns regarding the use of LLMs while protecting participant interests, and call attention to an urgent lack of norms and tooling to guide the ethical use of LLMs in research. We document the rapid and broad adoption of LLMs across surfaces, which can interfere with intentional use vital to qualitative research. We use the tensions surfaced by our participants to outline recommendations for researchers considering using LLMs in qualitative research and design principles for LLM-assisted qualitative research tools.

연구 동기 및 목표

• LLMs가 현재 질적 연구 과정에 어떻게 채택되고 있는지 평가하고 미래의 도입을 전망한다.
• 질적 연구 업무에서 LLM를 채택함에 따라 인식되는 이익과 손실, 긴장 요소 및 윤리적 고려사항을 식별한다.
• 질적 데이터 분석 도구에서 LLM의 윤리적이고 효과적인 활용을 위한 지침과 설계 원칙을 제안한다.

제안 방법

• 학문 전반의 질적 및 혼합 방법 연구자들을 대상으로 twenty회의 반구조화 인터뷰를 수행했다.
• 현장 이론에 영감을 받은 귀납적 주제 분석을 적용하여 인터뷰 전사에서 주제를 도출했다.
• LLM 사용을 문헌 검색 및 확인으로 한정하는 한편, Dedoose를 이용한 협업 코딩 과정을 사용했다.
• 참여자들의 실천 행위, 우려, 인식된 윤리적 함의를 보고하여 규범 및 도구 격차를 식별했다.

Figure 1. Current and Envisioned Use Cases for LLMs within the Qualitative Research Process. The figure highlights how participants had previously used and might imagine using LLMs moving forward in their research processes. We also highlight different perspectives and tensions for each use case, wi

실험 결과

연구 질문

• RQ1 오늘날 LLM이 질적 연구 과정에 어떻게 채택되고 있으며 앞으로 어떻게 도입될 수 있을까?
• RQ2 질적 연구자들은 LLM을 연구 과정에 도입함으로써 잃게 될 것과 얻을 수 있는 것에 대해 무엇이라고 말하며, 어떤 긴장이 생길 수 있을까?
• RQ3 질적 연구 과정에서 LLM의 윤리적 도입을 위한 잠재적 모델은 무엇인가?

주요 결과

• 연구자들은 LLM을 데이터 수집과 분석 전반에서 유망한 대화 상대자로 보지만 성능과 적절성에 대해 우려한다.
• 윤리성, 기술 채택의 불균등, 모델 편향, 데이터 프라이버시 문제 등이 채택을 저해한다.
• 질적 연구에서 윤리적 LLM 사용을 안내할 규범과 도구의 긴급한 부족이 있다.
• ChatGPT가 사용자 경험을 지배하고 LLM의 기능 및 윤리적 고려에 대한 인식을 형성한다.
• 일부 연구자들은 모집 자료를 생성하거나 코딩을 보조하거나 브레인스토밍에 LLM을 사용하는 반면, 데이터 프라이버시 우려와 심층성 상실로 저항하는 연구자들도 있다.
• 미래의 질적 연구자들을 위한 지침과 LLM 기반 QDA 도구의 설계 원칙이 질적 연구의 목표에 맞게 필요하다.