[論文レビュー] Human-AI Collaboration in Thematic Analysis using ChatGPT: A User Study and Design Recommendations

Lixiang Yan, Vanessa Echeverría+6 more|arXiv (Cornell University)|Nov 7, 2023

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本研究は、質的研究者がテーマ分析においてChatGPTとどのように協働するかを調査し、信頼性や正確性に関する懸念にもかかわらず、コード作成の効率化とデータ理解の向上が図られることを明らかにした。本研究では、透明性、文脈理解、フィードバックループ、検証の向上を図るための5つの実行可能な設計提案を提示する。

ABSTRACT

Generative artificial intelligence (GenAI) offers promising potential for advancing human-AI collaboration in qualitative research. However, existing works focused on conventional machine-learning and pattern-based AI systems, and little is known about how researchers interact with GenAI in qualitative research. This work delves into researchers' perceptions of their collaboration with GenAI, specifically ChatGPT. Through a user study involving ten qualitative researchers, we found ChatGPT to be a valuable collaborator for thematic analysis, enhancing coding efficiency, aiding initial data exploration, offering granular quantitative insights, and assisting comprehension for non-native speakers and non-experts. Yet, concerns about its trustworthiness and accuracy, reliability and consistency, limited contextual understanding, and broader acceptance within the research community persist. We contribute five actionable design recommendations to foster effective human-AI collaboration. These include incorporating transparent explanatory mechanisms, enhancing interface and integration capabilities, prioritising contextual understanding and customisation, embedding human-AI feedback loops and iterative functionality, and strengthening trust through validation mechanisms.

研究の動機と目的

• 質的研究者がテーマ分析においてChatGPTと協働する経験を理解すること。
• 生成AIを用いた質的データのコード化およびテーマ開発における利点と課題を特定すること。
• 質的研究ワークフローにおける人間とAIの協働を改善するための実行可能な設計提案を導出すること。
• 生成AI支援のテーマ分析における信頼性、信頼性、文脈理解に関する懸念に対処すること。

提案手法

• 30発話のインタビュートランスクリプトを対象に、10名の経験豊富な質的研究者を対象にChatGPTを用いたユーザースタディを実施した。
• 研究者の認識、ワークフロー統合、課題に焦点を当てた半構造化インタビューを通じて、定性的データを収集した。
• フィードバックを分析し、効率性、理解度、信頼性、インターフェース制限に関する繰り返しテーマを同定した。
• ユーザーのインサイトと観察された協働ダイナミクスに基づき、5つの設計提案を統合的に提示した。
• 反復的でユーザー主導のフィードバックループと文脈に応じたカスタマイズを重視し、AIの応答性を向上させた。
• ユーザーの信頼を高めるために、検証メカニズムと透明な説明を強調した。

実験結果

リサーチクエスチョン

• RQ1 質的研究者は、テーマ分析の過程でChatGPTとどのように協働していると感じているか？
• RQ2 ChatGPTを用いてコード作成およびテーマ生成を行う際、研究者が経験する利点と課題は何か？
• RQ3 人間とAIの協働をテーマ分析でどのように設計すれば、効率性、正確性、ユーザーの信頼を向上させられるか？
• RQ4 生成AIを質的研究ワークフローに統合する上で、最も価値のあるインターフェースおよびインタラクション機能は何か？

主な発見

• ChatGPTは、特に第二言語話者や専門外の研究者にとって、コード作成の効率化と初期のデータ探索を顕著に支援した。
• 研究者たちは、ChatGPTが段階的な対話によって細分化された、データに基づいたインサイトを生成し、テーマの洗練を支援できることを高く評価した。
• AI出力の信頼性と一貫性に関する懸念が継続的に提起されたが、特に事実の正確性と文脈理解の面で顕著であった。
• ユーザーは、カバレッジメトリクスや人間のコードとの並べ替え比較といった、透明な説明メカニズムの導入を強く要請した。
• 現在のChatGPTインターフェースは、テーマ分析に対して最適でないと評価され、既存の研究ワークフローへの統合が限定的であった。
• フィードバックループと文脈に応じたカスタマイズは、反復的でユーザー主導のAI協働を可能にする上で、極めて重要であると同定された。