[論文レビュー] CollabCoder: A Lower-barrier, Rigorous Workflow for Inductive Collaborative Qualitative Analysis with Large Language Models

Jie Gao, Yuchen Guo+5 more|arXiv (Cornell University)|Apr 14, 2023

Topic Modeling被引用数 9

ひとこと要約

tldr: CollabCoder は LLM を統合したエンドツーエンドの CQA ワークフローを提供し、独立したオープンコーディング、反復的な議論、コードブック作成を支援して堅牢性を維持しつつ導入ハードルを下げることを目的としています。AI 支援のコード提案、データ共有指標、そして既存ツールに対する優位性を示す 16 ユーザー評価を含みます。

ABSTRACT

Collaborative Qualitative Analysis (CQA) can enhance qualitative analysis rigor and depth by incorporating varied viewpoints. Nevertheless, ensuring a rigorous CQA procedure itself can be both demanding and costly. To lower this bar, we take a theoretical perspective to design the CollabCoder workflow, that integrates Large Language Models (LLMs) into key inductive CQA stages: independent open coding, iterative discussions, and final codebook creation. In the open coding phase, CollabCoder offers AI-generated code suggestions and records decision-making data. During discussions, it promotes mutual understanding by sharing this data within the coding team and using quantitative metrics to identify coding (dis)agreements, aiding in consensus-building. In the code grouping stage, CollabCoder provides primary code group suggestions, lightening the cognitive load of finalizing the codebook. A 16-user evaluation confirmed the effectiveness of CollabCoder, demonstrating its advantages over existing software and providing empirical insights into the role of LLMs in the CQA practice.

研究の動機と目的

• CQA を標準的な grounded theory および thematic analysis に適合させつつ、導入障壁を削減する。
• AI 支援を通じて独立したコーディング、構造化された議論、統合されたコードブック作成を実現する。
• リアルタイムのデータ同期と定量的指標を提供し、コーディングの（合意/不一致）を特定する。
• AI 支援の提案と研究者の自律性のバランスをとり、厳密性と信頼性を維持する。
• CollabCoder を既存ツールと比較評価し、ユーザー中心の洞察を収集する。

提案手法

• 独立したオープンコーディングと AI 生成コード提案および意思決定データのキャプチャを含む三段階の CQA ワークフローを提案する。
• 収集された意思決定データと指標を用いた反復的な議論で（合意/不一致）を顕在化させ、コンセンサス構築を支援する。
• コードブック作成では、合意コードから派生した初期のコードグループ提案を AI が提供し、最終化を支援する。

実験結果

リサーチクエスチョン

• RQ1 CollabCoder のワークフローは、定性的コーダーが CQA を効果的に実施するのを支援できるか？
• RQ2 CollabCoder は Atlas.ti Web のような現在利用可能なツールとどう比較されるか？
• RQ3 CollabCoder ワークフローの設計をどのように改善できるか？

主な発見

• ユーザーは CollabCoder を初心者にとって使いやすく、学習も容易だと感じた（75% 以上が同意）。
• CollabCoder はコーディングの独立性を支援し、（合意/不一致）を特定・理解するのに役立つ（75% 以上が同意）。
• 議論フェーズは最適化され、多くのコードペアを1つの対話で解決できるようになり、効率が向上した。
• GPT は初期段階で提案提供者として、議論中には仲介者/ファシリテーターとして機能し、コンセンサス構築を支援する。
• 設計は AI 支援とユーザーの自律性のバランスを重視し、AI への過剰依存を避ける。