[論文レビュー] Supporting Serendipity: Opportunities and Challenges for Human-AI Collaboration in Qualitative Analysis

Jialun Aaron Jiang, Kandrea Wade+2 more|arXiv (Cornell University)|Feb 7, 2021

Data Visualization and Analytics参考文献 42被引用数 29

ひとこと要約

本論文は、定性的研究者が帰納的分析においてAI協働をどのように捉え、恩恵を受け得るかを探究し、偶然性、人間の主体性、そして曖昧さを強調する。

ABSTRACT

Qualitative inductive methods are widely used in CSCW and HCI research for their ability to generatively discover deep and contextualized insights, but these inherently manual and human-resource-intensive processes are often infeasible for analyzing large corpora. Researchers have been increasingly interested in ways to apply qualitative methods to "big" data problems, hoping to achieve more generalizable results from larger amounts of data while preserving the depth and richness of qualitative methods. In this paper, we describe a study of qualitative researchers' work practices and their challenges, with an eye towards whether this is an appropriate domain for human-AI collaboration and what successful collaborations might entail. Our findings characterize participants' diverse methodological practices and nuanced collaboration dynamics, and identify areas where they might benefit from AI-based tools. While participants highlight the messiness and uncertainty of qualitative inductive analysis, they still want full agency over the process and believe that AI should not interfere. Our study provides a deep investigation of task delegability in human-AI collaboration in the context of qualitative analysis, and offers directions for the design of AI assistance that honor serendipity, human agency, and ambiguity.

研究の動機と目的

• 定性的研究者の帰納的分析における作業実践と課題を理解する。
• AIが研究者の主体性を損なうことなく、定性的分析を適切に補強できるかを評価する。
• 定性的作業における不確実性と偶然性を尊重する、望ましいAI能力と境界を特定する。
• 定性的研究の文脈における協働ダイナミクスとコンセンサス形成の機能を探る。

提案手法

• Information Science、Anthropology、HCI、Linguistics、Journalismの分野にまたがる定性研究者を対象に、17件の半構造化インタビューを実施した。
• インタビュー記録のテーマ分析を実施し、実践、協働ダイナミクス、AI補強のニーズを特定した。
• オープンコーディング、反復的コーディングラウンド、メモを用いて5つの総括的テーマを導出した。
• 既存の定性分析ツールとその限界を比較し、直感的で横断的かつカスタマイズ可能な機能の必要性を強調した。
• 定性的探究におけるタスク委任性と、AIが果たすべき（あるいは果たすべきでない）役割を軸に分析を組み立てた。

実験結果

リサーチクエスチョン

• RQ1 学問分野を超えた定性的分析での典型的な実践と使用ツールは何か？
• RQ2 定性研究者が望むAI支援機能にはどのようなものがあり、AIは分析のどの部分に関わるべきでないか？
• RQ3 協働ダイナミクスは定性的研究におけるコンセンサスと信頼性にどのように影響するか、そしてどのようなAI支援が役立つか？
• RQ4 AIは帰納的な定性的分析における不確実性と偶然性をどのように尊重すべきか？

主な発見

• 定性研究者は、似た方法にも多様で一貫性のない語彙を用いることが多く、コミュニケーションとツール設計の妨げとなる。
• 既存の定性分析ツールは、大量のデータ処理や分野を超えた低敷居の普及に不適切と見なされている。
• 研究者は、直感的な可視化、横断分析、分野別サポートを提供するAIを望んでいるが、複雑なソフトウェアを習得させることを強要しないものを望んでいる。
• 参加者は、見落としがちなデータの特定や関連引用の提案など、建設的な示唆や推論をAIが提供することを想像している一方で、研究者の統制と「疑い」を生産的な要素として保持する。
• 定性的作業では協働が一般的で、コンセンサス形成は単なるデータの議論以上に微妙である。AIが人間の判断を置換するのではなく補強する方法を問う。
• AIは人間の分析を補強し、主体性、透明性、疑念の可能性を保つべきである。 本研究は帰納的自発性を支援するAIを提唱し、決定論的な自動化よりも偶然性を支持する。