[論文レビュー] Grounded Copilot: How Programmers Interact with Code-Generating Models

Shraddha Barke, Michael B. James+1 more|arXiv (Cornell University)|Jun 30, 2022

Software Engineering Research被引用数 23

ひとこと要約

この論文は、Copilotとプログラマーの相互作用に関する最初のグラウンデッド・セオリーを提示し、加速と探索の2つの交互モードを特定し、AIプログラミングアシスタントのユーザビリティ設計に関する推奨事項を提供します。

ABSTRACT

Powered by recent advances in code-generating models, AI assistants like Github Copilot promise to change the face of programming forever. But what is this new face of programming? We present the first grounded theory analysis of how programmers interact with Copilot, based on observing 20 participants--with a range of prior experience using the assistant--as they solve diverse programming tasks across four languages. Our main finding is that interactions with programming assistants are bimodal: in acceleration mode, the programmer knows what to do next and uses Copilot to get there faster; in exploration mode, the programmer is unsure how to proceed and uses Copilot to explore their options. Based on our theory, we provide recommendations for improving the usability of future AI programming assistants.

研究の動機と目的

• グラウンデッド・セオリーを用いて、プログラマーが Copilot とどのように相互作用するかのデータ駆動型理論を開発する。
• 言語バイアスを避けるため、複数の言語で Copilot 支援のプログラミングを観察する。
• 相互作用モードとその決定要因を特徴づけ、将来のツール設計に情報を提供する。
• IDE における AI アシスタントの使いやすさと統合を改善する具体的な推奨事項を提供する。

提案手法

• さまざまな経験を持つ 20 名の参加者が、Python、Rust、Haskell、Java 全般で Copilot を使用した。
• Straussian グラウンデッド・セオリーを適用し、ビデオ録画とインタビューからテーマを反復的にコード化・洗練した。
• 加速と探索の行動を引き出すために、4つの変化するプログラミング課題を用いた。
• 課題のバリエーションを横断して新たな理論を検証・洗練するために、理論的サンプリングを採用した。
• パターンを裏付けるために、配信中の5本のライブストリーミング動画の分析を補足した。

実験結果

リサーチクエスチョン

• RQ1 コーディング作業中、プログラマーは Copilot とどのように相互作用するか？
• RQ2 Copilot を使用する際にどのような相互作用モードが出現し、それを引き起こす条件は何か？
• RQ3 プログラマーは Copilot が生成したコードをどのように検証・修正するか？
• RQ4 プログラマー向けの Copilot 系統のツールを改善する設計推奨は何か？

主な発見

• Copilot との相互作用は二峰性であり、加速（速く、フローを維持）と探索（意図的で探索的）モードから成る。
• 加速モードは、プログラマーがタスクをマイクロタスクに分解し、論理的単位の迅速な完成のために Copilot を頼るときに発生する。
• 探索モードは、新規タスク、API の発見、複数の代替案の評価に使用され、しばしば明示的なプロンプトと検証を通じて行われる。
• 長く多行の Copilot 提案はフローを乱し、却下または無視されることがある一方、加速時には短く文脈的な行末ヒントが好まれる。
• 検証は通常、提案の有用性を判断するためにパターンマッチングとキーワード/構造認識に依存する。ユーザーは提案を完全に置換するよりも修正することがある。
• 探索傾向はタスクの新規性とモデルへの自信に関連し、過度の依存は進捗を妨げる可能性がある。