[论文解读] CoAIcoder: Examining the Effectiveness of AI-assisted Human-to-Human Collaboration in Qualitative Analysis

Jie Gao, Kenny Tsu Wei Choo+3 more|arXiv (Cornell University)|Apr 12, 2023

Qualitative Research Methods and Applications被引用 10

一句话总结

CoAIcoder 评估 AI 辅助的协作性定性分析，涵盖四种协作模式的 32 对编码者，对结果发现：共享 AI 模型可以提升早期效率和一致性，但可能降低代码多样性，独立性水平会影响结果。

ABSTRACT

While AI-assisted individual qualitative analysis has been substantially studied, AI-assisted collaborative qualitative analysis (CQA)-a process that involves multiple researchers working together to interpret data-remains relatively unexplored. After identifying CQA practices and design opportunities through formative interviews, we designed and implemented CoAIcoder, a tool leveraging AI to enhance human-to-human collaboration within CQA through four distinct collaboration methods. With a between-subject design, we evaluated CoAIcoder with 32 pairs of CQA-trained participants across common CQA phases under each collaboration method. Our findings suggest that while using a shared AI model as a mediator among coders could improve CQA efficiency and foster agreement more quickly in the early coding stage, it might affect the final code diversity. We also emphasize the need to consider the independence level when using AI to assist human-to-human collaboration in various CQA scenarios. Lastly, we suggest design implications for future AI-assisted CQA systems.

研究动机与目标

• 理解 AI 如何在定性分析（CQA）中调解人对人协作的机制。
• 设计并实现 CoAIcoder 及其四种协作方法。
• 评估对编码效率、评注者间一致性（IRR）和代码多样性的影响。
• 为未来 AI 辅助的 CQA 系统提出设计含义。

提出的方法

• 对 QA/CQA 研究人员进行形成性半结构化访谈，以识别实践与需求。
• 使用带有预训练嵌入和对编码历史进行实时微调的 Rasa NLU 流水线开发 CoAIcoder。
• 定义四种协作条件：无 AI（异步、无共享模型）；有 AI（异步、无共享模型）；有 AI（异步、共享模型）；有 AI（同步、共享模型）。
• 在被试间设计中以 32 对 CQA 训练参与者评估这四种方法（每种方法 8 对）。
• 在考虑编码者独立性的前提下，评估编码效率、初始 IRR 和代码多样性之间的权衡。

实验结果

研究问题

• RQ1 AI 是否能作为有效的调解者，在 CQA 的初始编码阶段提高效率？
• RQ2 使用共享 AI 模型如何影响编码者之间的一致性与最终代码的多样性？
• RQ3 编码者独立性在 AI 辅助的 CQA 结果中扮演怎样的角色？
• RQ4 未来 AI 支持的协作性定性分析工具会出现哪些设计含义？

主要发现

• 将共享 AI 模型作为调解者可以在早期编码阶段提高编码效率和初始评注者间一致性。
• 然而，共享 AI 调解可能降低最终代码多样性。
• 编码者独立性水平调节效率/IRR 与代码多样性之间的权衡。
• 情境重要：效率与代码多样性的价值取决于 CQA 研究的目标。