[論文レビュー] "It would work for me too": How Online Communities Shape Software Developers' Trust in AI-Powered Code Generation Tools

Ruijia Cheng, Ruotong Wang+2 more|arXiv (Cornell University)|Dec 7, 2022

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

この論文は、オンライン開発者コミュニティがAI駆動のコード生成ツールに対する信頼をどのように形成するかを調査し、二つの主要な経路を明らかにした：共有経験を通じた集団的意味づけと、評価信号を介したコミュニティヒューリスティクス。本研究では、カスタマイズされた経験や信頼信号といったコミュニティ機能をAIコードツールに統合することで適切な信頼を支援する方針を提唱し、17名の開発者と11回のデザインプローブを通じて検証された。

ABSTRACT

While revolutionary AI-powered code generation tools have been rising rapidly, we know little about how and how to help software developers form appropriate trust in those AI tools. Through a two-phase formative study, we investigate how online communities shape developers' trust in AI tools and how we can leverage community features to facilitate appropriate user trust. Through interviewing 17 developers, we find that developers collectively make sense of AI tools using the experiences shared by community members and leverage community signals to evaluate AI suggestions. We then surface design opportunities and conduct 11 design probe sessions to explore the design space of using community features to support user trust in AI code generation systems. We synthesize our findings and extend an existing model of user trust in AI technologies with sociotechnical factors. We map out the design considerations for integrating user community into the AI code generation experience.

研究の動機と目的

• オンラインコミュニティがAI駆動のコード生成ツールに対するソフトウェア開発者の信頼にどのように影響するかを理解すること。
• 特にコミュニティ主導の信号を含む、信頼判断を形作る社会技術的要因を特定すること。
• 適切な信頼を支援するため、コミュニティ機能をAIコード生成システムに統合する設計機会を探索すること。
• 開発者コミュニティで観察された社会技術的ダイナミクスを組み込むことで、既存のAI信頼モデルを拡張すること。
• コミュニティの入力を信頼のキャリブレーションに活用する将来のAIシステムに向けた実行可能な設計考慮事項を提供すること。

提案手法

• AIコードツールに関するオンラインコミュニティにおける経験と信頼形成プロセスを調査するため、17名のソフトウェア開発者に対して半構造化インタビューを実施した。
• 二つの中心的メカニズムを同定した：集団的意味づけ（共有されたコミュニティ経験から学ぶこと）とコミュニティヒューリスティクス（コミュニティが生成した評価信号を使用すること）。
• GitHub Copilotインターフェースに統合された、共有コードの提案、信頼インジケーター、プライバシー制御などのコミュニティ機能を統合した視覚的デザインプローブを開発した。
• 開発者からのコミュニティ統合型AI信頼機能に関する概念的フィードバックを収集するため、11回のデザインプローブセッションを実施した。
• 発見を統合し、コミュニティがキュレートした経験と評価信号に焦点を当てた、既存のAI信頼モデルの社会技術的拡張を提示した。
• プライバシー制御、同意メカニズム、文脈に応じた共有といった、コミュニティ機能をAIコード生成システムに統合するための設計考慮事項を提言した。

実験結果

リサーチクエスチョン

• RQ1 オンラインコミュニティは、ソフトウェア開発者のAI駆動のコード生成ツールに対する信頼にどのように影響するか？
• RQ2 開発者は、AIが生成したコードの提案に対する信頼を評価し形成するために、どのような種類のコミュニティ提供情報を利用しているか？
• RQ3 AIコード生成システムにコミュニティの入力を効果的に統合するための設計機能は何か？
• RQ4 プライバシーや機密性に関する懸念は、開発者がコミュニティ経験を共有したりアクセスしたりする意思にどのように影響するか？
• RQ5 コミュニティ機能は、AIの信頼のキャリブレーションと責任ある使用を支援するために、どのように設計できるか？

主な発見

• 開発者は、AIコード生成ツールの機能と限界を理解するために、共有されたコミュニティ経験に大きく依存しており、集約されたインサイトを通じて集団的信頼を形成している。
• コミュニティが生成した評価信号（例：いいね、コメント、使用パターン）は、特定のAI提案の信頼性を評価するためのヒューリスティクスとして機能している。
• プライバシー上の懸念は、コミュニティ共有の主要な障壁となっており、開発者は明示的制御、同意メカニズム、機密ソースコードの漏洩を防ぐための保護策を強く求めている。
• デザインプローブの結果、誰が自分の共有経験を見ているかを事前にプレビューできる機能や、機密情報を自動で特定・マスキングする機能への強い関心が示された。
• コミュニティがキュレートした経験と評価信号をAIツールに統合することで、信頼のキャリブレーションが著しく向上し、AIへの過剰依存が軽減され、コード品質が向上する。
• 社会技術的ダイナミクスを組み込まない限り、既存のAI信頼モデルは不十分である。コミュニティの相互作用は、集団的意味づけとコミュニティヒューリスティクスという二つの明確な経路を提供しており、信頼フレームワークにおいて正式に認識されるべきである。