[논문 리뷰] CoAIcoder: Examining the Effectiveness of AI-assisted Human-to-Human Collaboration in Qualitative Analysis

Jie Gao, Kenny Tsu Wei Choo외 3명|arXiv (Cornell University)|2023. 04. 12.

Qualitative Research Methods and Applications인용 수 10

한 줄 요약

CoAIcoder는 네 협력 모드에 걸쳐 32 쌍의 코더를 포함한 AI 보조 협업 질적 분석을 평가하며, 공유 AI 모델이 초기 효율성과 합의를 높일 수 있지만 코드 다양성은 감소시킬 수 있으며, 독립성 수준이 결과를 형성한다.

ABSTRACT

While AI-assisted individual qualitative analysis has been substantially studied, AI-assisted collaborative qualitative analysis (CQA)-a process that involves multiple researchers working together to interpret data-remains relatively unexplored. After identifying CQA practices and design opportunities through formative interviews, we designed and implemented CoAIcoder, a tool leveraging AI to enhance human-to-human collaboration within CQA through four distinct collaboration methods. With a between-subject design, we evaluated CoAIcoder with 32 pairs of CQA-trained participants across common CQA phases under each collaboration method. Our findings suggest that while using a shared AI model as a mediator among coders could improve CQA efficiency and foster agreement more quickly in the early coding stage, it might affect the final code diversity. We also emphasize the need to consider the independence level when using AI to assist human-to-human collaboration in various CQA scenarios. Lastly, we suggest design implications for future AI-assisted CQA systems.

연구 동기 및 목표

• AI가 질적 분석(CQA)에서 사람 간 협업을 매개하는 방법을 이해한다.
• CoAIcoder와 네 가지 협업 방법을 설계하고 구현한다.
• 코딩 효율성, 평가자 간 일치도(IRR), 그리고 코드 다양성에 미치는 영향을 평가한다.
• 향후 AI 보조 CQA 시스템에 대한 설계 시사점을 도출한다.

제안 방법

• 관행과 필요를 파악하기 위해 QA/CQA 연구자들을 대상으로 형성적 반구조화 인터뷰를 수행한다.
• 사전 학습 임베딩과 코딩 이력에 대한 실시간 미세 조정을 갖춘 Rasa NLU 파이프라인을 사용하여 CoAIcoder를 개발한다.
• 공유 모델이 없는 비동기 AI 미적용; 공유 모델이 없는 비동기 AI 적용; 공유 모델이 있는 비동기 AI 적용; 공유 모델이 있는 동기 AI 적용의 네 가지 협업 조건을 정의한다.
• 네 가지 방법을 포함하는 서로 다른 참가자 설계로 32쌍의 CQA 훈련 참가자를 대상으로 평가한다(방법당 8쌍).
• 코딩 효율성, 초기 IRR, 코드 다양성 간의 트레이드-오프를 코더의 독립성을 고려하여 평가한다.

실험 결과

연구 질문

• RQ1 AI가 CQA의 초기 코딩 단계에서 효율성을 높이는 효과적인 매개자로 작용할 수 있는가?
• RQ2 공유 AI 모델의 사용이 코더 간의 합의와 최종 코드 다양성에 어떤 영향을 미치는가?
• RQ3 AI 보조 CQA 결과에서 코더 독립성의 역할은 무엇인가?
• RQ4 향후 AI 지원 협업 질적 분석 도구를 위한 어떤 설계 시사점이 나타나는가?

주요 결과

• 공유 AI 모델을 매개자로 사용하는 것이 초기 코딩 단계에서 코딩 효율성과 초기 평가자 간 일치도(IRR)를 개선할 수 있다.
• 그러나 공유 AI 매개는 최종 코드 다양성을 감소시킬 수 있다.
• 코더 독립성의 수준은 효율성/IRR와 코드 다양성 간의 트레이드-오프를 조절한다.
• 맥락이 중요하다: 효율성의 가치와 코드 다양성은 CQA 연구의 목표에 따라 달라진다.