[論文レビュー] Developer Interaction Patterns with Proactive AI: A Five-Day Field Study

Nadine Kuo, Agnia Sergeyuk+2 more|arXiv (Cornell University)|Jan 15, 2026

AI in Service Interactions被引用数 0

ひとこと要約

ProAIDEというIDE内プロアクティブAIアシスタントの五日間の現地研究は、タイミングと文脈が開発者の受容性と効率に重要であることを示し、ポストコミット時のプロンプトが最も受容され、プロアクティブなヒントはリアクティブなものより解釈が速い。

ABSTRACT

Current in-IDE AI coding tools typically rely on time-consuming manual prompting and context management, whereas proactive alternatives that anticipate developer needs without explicit invocation remain underexplored. Understanding when humans are receptive to such proactive AI assistance during their daily work remains an open question in human-AI interaction research. We address this gap through a field study of proactive AI assistance in professional developer workflows. We present a five-day in-the-wild study with 15 developers who interacted with a proactive feature of an AI assistant integrated into a production-grade IDE that offers code quality suggestions based on in-IDE developer activity. We examined 229 AI interventions across 5,732 interaction points to understand how proactive suggestions are received across workflow stages, how developers experience them, and their perceived impact. Our findings reveal systematic patterns in human receptivity to proactive suggestions: interventions at workflow boundaries (e.g., post-commit) achieved 52% engagement rates, while mid-task interventions (e.g., on declined edit) were dismissed 62% of the time. Notably, well-timed proactive suggestions required significantly less interpretation time than reactive suggestions (45.4s versus 101.4s, W = 109.00, r = 0.533, p = 0.0016), indicating enhanced cognitive alignment. This study provides actionable implications for designing proactive coding assistants, including how to time interventions, align them with developer context, and strike a balance between AI agency and user control in production IDEs.

研究の動機と目的

• プロフェッショナルなIDEワークフローへ、プロアクティブAI支援を統合できるかを調査する。
• 開発者がプロアクティブで文脈認識的なコード品質提案に対して受け入れやすい時期を特徴づける。
• プロアクティブAIが開発者のタスクフロー、効率、知覚的有用性に与える影響を評価する。
• タイミング、文脈、説明可能性、およびユーザー制御に関する設計原則を特定する。

提案手法

• Fleet（実運用級IDE）に統合されたプロアクティブなコード品質提案機能としてProAIDEを開発。
• Phase 1-3でトリガーとUIを改良する四相の反復設計を実施、Phase 4で五日間の現地調査を展開。
• 15名のプロ開発者から5,732件のインタラクションポイントと229件のAI介入のテレメトリデータを収集。
• 使用性評価を含む日次および事後調査（SUSを含む）を収集。
• Wilcoxonの符号付き順位検定を用いて、プロアクティブAIとリアクティブAIの解釈時間を比較。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 開発者はワークフローの各段階でIDE内のプロアクティブAI提案とどのように相互作用するか？
• RQ2 RQ2: 開発者はIDE内のプロアクティブAI提案との相互作用をどのように経験するか？
• RQ3 RQ3: IDE内のプロアクティブAI提案が作業に与える影響を開発者はどう認識するか？

主な発見

• ワークフローの境界（例：ポストコミット）でトリガーされた提案はエンゲージメントが高く、最高で52%に達した。
• タスク中の介入（例：編集を断念した場面）は62%の頻度で却下された。
• プロアクティブ提案は解釈時間を短縮し、45.4秒だったのに対し、リアクティブ提案は101.4秒だった。
• 参加者はSUSスコア72.8点/100点（95%信頼区間 [64.1, 81.5]）で使いやすさを評価した。
• ProAIDEのタスク意図への整合性は信頼と受容に影響を与えた一方、低レベルの文脈取りこぼしは有用性の認識を低下させた。