[論文レビュー] How Do Data Analysts Respond to AI Assistance? A Wizard-of-Oz Study

Ken Gu, Madeleine Grunde-McLaughlin+3 more|arXiv (Cornell University)|Sep 18, 2023

Mobile Crowdsensing and CrowdsourcingComputer Science被引用数 3

ひとこと要約

本研究では、13名の経験豊富なアナリストを対象に、実際のデータ分析タスクにおけるAI支援計画の反応を調査するためのウィザード・オブ・オズ実験を実施した。文脈的で目的に整合した計画提案、特に代替モデルや根拠の再考を促す提案は、分析の堅牢性を著しく向上させるが、その有効性はタイミング、提示方法、信頼構築メカニズムに大きく依存しており、今後のデータサイエンスワークフローにおけるAIアシスタントの設計に向けた重要な設計原則を示している。

ABSTRACT

Data analysis is challenging as analysts must navigate nuanced decisions that may yield divergent conclusions. AI assistants have the potential to support analysts in planning their analyses, enabling more robust decision making. Though AI-based assistants that target code execution (e.g., Github Copilot) have received significant attention, limited research addresses assistance for both analysis execution and planning. In this work, we characterize helpful planning suggestions and their impacts on analysts' workflows. We first review the analysis planning literature and crowd-sourced analysis studies to categorize suggestion content. We then conduct a Wizard-of-Oz study (n=13) to observe analysts' preferences and reactions to planning assistance in a realistic scenario. Our findings highlight subtleties in contextual factors that impact suggestion helpfulness, emphasizing design implications for supporting different abstractions of assistance, forms of initiative, increased engagement, and alignment of goals between analysts and assistants.

研究の動機と目的

• 実世界のデータ分析タスクにおけるデータアナリストがAI生成の計画提案にどのように反応するかを理解すること。
• どのような文脈的条件下で、どの種類の計画提案が最も役立つと感じられるかを同定すること。
• アシスタントの能動的参加、目的との整合性、関与度が、アナリストのAI支援への信頼と採用に与える影響を調査すること。
• コード実行を超えた分析計画支援におけるAI支援のギャップを埋めるために、実行可能な提案内容と設計原則を特徴づけること。
• 既存のデータ分析ワークフローに計画支援を統合する可能性と影響を検討し、意思決定の恣意的性を低減し、分析の堅牢性を向上させること。

提案手法

• 13名の経験豊富なデータアナリストを対象に、実際のデータセットを用いたリアルなラボ環境でのウィザード・オブ・オズ実験を実施し、AI支援分析を模擬した。
• 文献から導出された提案内容のカテゴリーに基づいて文脈に応じた計画提案を生成するカスタムアシスタントインターフェースを設計した。
• データクリーニング、モデリング、推論を含む準構造的タスクを用いて、アナリストの自然な行動とフィードバックを引き出すようにした。
• アナリストがシミュレートされたAIアシスタントと対話する中で、提案受容、信頼、ワークフローの変化に関する定性的および観察データを収集した。
• 分析計画の文献とクラウドソーシング研究を基に、行動主導のアプローチで提案タイプを分類した。
• 再現可能性と今後のデータサイエンスツールにおける計画支援の統合を支援するため、オープンソースのアシスタントインターフェースを実装した。

Figure 1. Execution and planning assistance during data analysis . During an ongoing analysis (current step shown by the analyst icon), analysts may be focusing on the execution of an analysis decision (left) or planning their next decisions (right). During execution, analysts have a clear intent of

実験結果

リサーチクエスチョン

• RQ1 実際の分析ワークフローにおいて、データアナリストがどの種類の計画提案を最も役立つと感じているか？
• RQ2 タイミング、提示方法、目的との整合性といった文脈的要因が、アナリストのAI生成提案への受容性にどのように影響しているか？
• RQ3 アシスタントの能動的参加が、アナリストの計画支援への関与と信頼に与える役割は何か？
• RQ4 アナリストは、AIの提案に依存する一方で、自らの分析的判断とドメインエキスパートの知識をどのようにバランスさせているか？
• RQ5 AI支援は、分析の堅牢性を向上させるために、代替の分析的手法を特定・評価するのをアナリストにどのように支援できるか？

主な発見

• 代替モデル、根拠、仮定の再考を促す提案は、見過ごされた分析的トレードオフを明らかにする場合に特に価値があるとアナリストが感じた。
• 提案の有用性はタイミング、提示方法、アナリストの現在の分析的目標との整合性といった文脈的要因に強く影響を受けており、タイミングが悪いか的外れな提案は信頼を低下させる。
• アシスタントが目的に整合していると感じられ、単なるコード生成ではなく、より深い推論を促す提案である場合、アナリストはより積極的に関与した。
• 統計やプログラミングに高い熟練度を持つにもかかわらず、アナリストはアシスタントが強調する意思決定ポイントを認識・検討するのを怠ることが多く、より直感的で能動的な計画支援の必要性が示された。
• 提案が権威的であると感じられると、AIへの過剰依存のリスクが浮き彫りになった。これは、批判的評価と透明性を促進する設計メカニズムの必要性を強調している。
• 最も効果的な提案は、たとえば複数のモデリングアプローチを検討するよう促すなど、推論を補助するものであり、単に行動やコードを推奨するものよりも優れていた。

Figure 2. Planning assistance has limited support and is unexplored . Existing assistants, such as Github Copilot, are well-suited for execution assistance, such as suggesting data wrangling or modeling code.