[論文レビュー] CoAIcoder: Examining the Effectiveness of AI-assisted Human-to-Human Collaboration in Qualitative Analysis

Jie Gao, Kenny Tsu Wei Choo+3 more|arXiv (Cornell University)|Apr 12, 2023

Qualitative Research Methods and Applications被引用数 10

ひとこと要約

CoAIcoder は、4つの協働モードで32組のコーダーペアを対象としたAI支援協力的定性的分析を評価し、共有AIモデルが初期の効率と合意を高める可能性がある一方でコードの多様性を減らす可能性があり、独立性レベルが結果に影響する、という結論を得た。

ABSTRACT

While AI-assisted individual qualitative analysis has been substantially studied, AI-assisted collaborative qualitative analysis (CQA)-a process that involves multiple researchers working together to interpret data-remains relatively unexplored. After identifying CQA practices and design opportunities through formative interviews, we designed and implemented CoAIcoder, a tool leveraging AI to enhance human-to-human collaboration within CQA through four distinct collaboration methods. With a between-subject design, we evaluated CoAIcoder with 32 pairs of CQA-trained participants across common CQA phases under each collaboration method. Our findings suggest that while using a shared AI model as a mediator among coders could improve CQA efficiency and foster agreement more quickly in the early coding stage, it might affect the final code diversity. We also emphasize the need to consider the independence level when using AI to assist human-to-human collaboration in various CQA scenarios. Lastly, we suggest design implications for future AI-assisted CQA systems.

研究の動機と目的

• AI が定性的分析（CQA）におけるヒト対ヒトの協働を仲介する方法を理解する。
• CoAIcoder とその4つの協働方法を設計・実装する。
• コーディングの効率、評価者間信頼性（IRR）、およびコードの多様性への影響を評価する。
• 将来のAI支援CQAシステムの設計上の示唆を導く。

提案手法

• 実践とニーズを特定するため、QA/CQA研究者を対象に形成的な半構造化インタビューを実施する。
• 事前学習済みの埋め込みとコーディング履歴のリアルタイム微調整を用いたRasa NLUパイプラインを使用してCoAIcoderを開発する。
• 共有モデルなしの非同期、共有モデルなしの非同期（AIなし）; 共有モデルなしの非同期（AIあり）; 共有モデルありの非同期; 共有モデルありの同期。
• 方法の4つを、各手法8ペア、合計32ペアのCQA訓練参加者を用いた被験者間デザインで評価する。
• コーダー独立性を考慮した上で、コーディングの効率、初期IRR、およびコード多様性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 AI はCQAの初期コーディング段階の効率を改善する効果的な媒介役を果たせるか？
• RQ2 共有AIモデルの使用は、コーダー間の合意と最終コードの多様性にどう影響するか？
• RQ3 AI支援CQAの結果におけるコーダーの独立性の役割は何か？
• RQ4 将来のAI支援型協働定性的分析ツールに対する設計上の示唆は何か？

主な発見

• 共有AIモデルを媒介として使用することは、初期のコーディング段階でのコーディング効率と初期の評価者間信頼性を向上させる可能性がある。
• ただし、共有AIによる媒介は最終的なコード多様性を低下さる可能性がある。
• コーダーの独立性のレベルは、効率/IRRとコード多様性のトレードオフを調整する。
• 文脈は重要である。効率の価値とコード多様性は、CQA研究の目的に依存する。