[논문 리뷰] Using Large Language Models for Qualitative Analysis can Introduce Serious Bias

Julian Ashwin, Aditya Chhabra외 1명|arXiv (Cornell University)|2023. 09. 29.

Topic Modeling인용 수 9

한 줄 요약

본 연구는 LLM이 자유로운 형식 인터뷰의 질적 주석에 편향을 줄 수 있음을 보여주고, 전문가 주석에 기반한 소규모 맞춤형 모델(iQual)을 학습시킬 때 LLM보다 성능이 우수하고 편향을 감소시킴을 보여주며, 데이터 증가(Data augmentation)가 제한적인 도움을 준다는 것을 시사한다.

ABSTRACT

Large Language Models (LLMs) are quickly becoming ubiquitous, but the implications for social science research are not yet well understood. This paper asks whether LLMs can help us analyse large-N qualitative data from open-ended interviews, with an application to transcripts of interviews with Rohingya refugees in Cox's Bazaar, Bangladesh. We find that a great deal of caution is needed in using LLMs to annotate text as there is a risk of introducing biases that can lead to misleading inferences. We here mean bias in the technical sense, that the errors that LLMs make in annotating interview transcripts are not random with respect to the characteristics of the interview subjects. Training simpler supervised models on high-quality human annotations with flexible coding leads to less measurement error and bias than LLM annotations. Therefore, given that some high quality annotations are necessary in order to asses whether an LLM introduces bias, we argue that it is probably preferable to train a bespoke model on these annotations than it is to use an LLM for annotation.

연구 동기 및 목표

• 방글라데시 Cox’s Bazar의 로힝야 난민과 현지 호스트를 대상으로 한 대규모 질적 인터뷰 데이터를 LLM이 정확하게 주석할 수 있는지 평가한다.
• 전문가 주석과 비교했을 때 LLM 주석이 체계적인 편향을 초래하는지 평가한다.
• 고품질 인간 주석으로 학습된 iQual 감독 학습 방식과 LLM 기반 주석을 비교한다.
• LLMs를 이용한 데이터 증가가 iQual에 어떤 신뢰할 만한 개선을 제공하는지 탐구한다.
• 해석적 질적 분석과 확장 가능한 NLP 도구의 균형에 대한 안내를 제공한다.

제안 방법

• ChatGPT, Llama 2 (13B), 및 Llama 2 채팅 변형을 사용하여 2,407개의 자유로운 형식 인터뷰 전사를 QA 수준으로 주석하며, 상세한 프롬프트와 소수 사례 학습 및 사고의 흐름 프롬프트를 포함한다.
• iQual 개발: 각 코드에 대해 고품질 전문가 주석을 사용해 개별 감독 모델을 학습하고, 교차 검증과 200건의 보류된 테스트 인터뷰를 포함한 외부 샘플 예측으로 평가한다.
• 예측 성능 평가를 위해 외부 샘플 F1 점수와 정확도를 사용해 주석 접근법을 비교한다.
• 피실험자 특성과 예측 오차의 상관 여부를 회귀 기반 테스트로 확인하고 과도한 예측 패턴을 분석해 편향을 조사한다(예: 난민 여부, 성별, 교육 수준).
• iQual 모델 학습을 위한 LLM-생성 텍스트를 통한 데이터 증가를 탐구하고 성능 및 편향에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LLMs가 전문가가 라벨링한 데이터와 비교하여 자유로운 형식의 질적 인터뷰 데이터에 대해 정확한 주석을 제공하는가?
• RQ2 인터뷰 대상자의 특성에 따라 LLM 주석에 편향이 있으며 이 편향이 이후 추론에 어떤 영향을 미치는가?
• RQ3 전문가 주석으로 학습하는 iQual 접근법이 외부 샘플 예측에서 LLM보다 우수하고 편향 없는 결과를 유지하는가?
• RQ4 LLM 기반 데이터 증가가 새로운 편향을 도입하지 않으면서 iQual의 성능을 의미 있게 향상시키는가?
• RQ5 비교 결과에서 질적 분석에 LLM을 적용하기 위한 실용적 권고는 무엇인가?

주요 결과

• LLMs는 코드별 외부 샘플 F1 점수에서 일반적으로 iQual에 비해 낮은 성능을 보이며, ChatGPT가 LLM들 중 보통 가장 좋지만 여전히 iQual보다 못하다.
• 세 가지 LLM 모두 주석의 체계적 과다 예측을 보이며, 이는 코드 간 유병률 추정치를 편향시킨다(예: 세속적 욕구와 종교적 욕구 간 차이).
• LLM 예측 오차는 무작위가 아니며, 회귀 분석은 인터뷰 대상자의 특성과 연관된 편향을 보여주어 이를 의존하면 오해를 초래할 수 있다.
• iQual은 하나의 코드에서만 편향을 보이고, 표준 오차가 더 작으며 전문가 수준의 추정에 근접한다.
• 이 맥락에서 LLM을 이용한 데이터 증가가 iQual에 대해 경미하거나 실질적 개선을 제공하지 않는다.
• 전반적으로 정확성과 편향 감소를 위해서는 전문가 주석으로 학습된 맞춤형 모델이 선호되며, LLM은 대체재가 아니라 보조 도구로서 더 적합하다.