[論文レビュー] Using an LLM to Help With Code Understanding

Daye Nam, Andrew Macvean+3 more|arXiv (Cornell University)|Jul 17, 2023

Software Engineering Research被引用数 5

ひとこと要約

本論文では、GPT-3.5-turboを用いて、プロンプトなしのインタラクションにより、LLMクエリの文脈を自動的に整えることで、オンデマンドのコード理解支援を提供するIDE内プラグインGILTを提示する。32名の参加者を対象としたユーザースタディにおいて、GILTはウェブ検索よりもタスク完了率が著しく向上したが、時間および理解度の向上は統計的に有意ではなかった。特に、プロフェッショナルの開発者ほど恩恵を受けていた。

ABSTRACT

Understanding code is challenging, especially when working in new and complex development environments. Code comments and documentation can help, but are typically scarce or hard to navigate. Large language models (LLMs) are revolutionizing the process of writing code. Can they do the same for helping understand it? In this study, we provide a first investigation of an LLM-based conversational UI built directly in the IDE that is geared towards code understanding. Our IDE plugin queries OpenAI's GPT-3.5-turbo model with four high-level requests without the user having to write explicit prompts: to explain a highlighted section of code, provide details of API calls used in the code, explain key domain-specific terms, and provide usage examples for an API. The plugin also allows for open-ended prompts, which are automatically contextualized to the LLM with the program being edited. We evaluate this system in a user study with 32 participants, which confirms that using our plugin can aid task completion more than web search. We additionally provide a thorough analysis of the ways developers use, and perceive the usefulness of, our system, among others finding that the usage and benefits differ between students and professionals. We conclude that in-IDE prompt-less interaction with LLMs is a promising future direction for tool builders.

研究の動機と目的

• LLMベースでIDE内に情報支援を提供することで、開発者が生じないコードを理解し、タスクを遂行する能力が向上するかどうかを調査すること。
• LLMとのプロンプトなしのインタラクションが、コード理解の際の認知的負荷を軽減する有効性を評価すること。
• 制御されたユーザースタディにおいて、GILTと従来のウェブ検索を比較し、パフォーマンスと認識の違いを評価すること。
• 学生とプロフェッショナルの開発者との間で、使用パターンと利点の違いを調査すること。
• 実際のソフトウェア開発ワークフローにおける将来的なLLM駆動開発ツールの設計的示唆を特定すること。

提案手法

• GPT-3.5-turboを統合したIDEプラグインGILTを開発し、明示的なユーザーのプロンプトを必要とせず、オンデマンドでコードの解説、APIの詳細、ドメイン用語の定義、使用例を提供する。
• 現在編集中のコードを自動的にLLMのプロンプトに文脈として組み込み、ユーザーがプロンプト設計をしなくても文脈に配慮した応答を可能にする。
• アクションボタンによるプロンプトなしのインタラクションと、オープンエンドのプロンプト入力を両方提供し、すべてのプロンプトがローカルコードの文脈で自動的に強化される。
• IDE内に直接埋め込める、またはクリア可能な情報を提供するためのUIを実装。トリガー用ボタン、要約表示、文脈に配慮したアクションボタン、およびオプションを備える。
• 32名の参加者を対象とした制御されたユーザースタディを実施。PythonのAPIを用いたデータ可視化および3Dレンダリングを含む、生じないコードを理解し拡張するタスクにおいて、GILTの使用とウェブ検索を比較した。
• タスク完了時間、成功確率、理解度の定量的データ、およびツール使用と実感された有用性に関する定性的フィードバックを収集・分析した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 生じないコードに直面した際、GILTは開発者の理解度、タスク完了時間、タスク完了率にどの程度影響を与えるか？
• RQ2 RQ2: 開発者はGILTとどのようにインタラクトするのか？また、参加者間でその差はどの程度あるか？
• RQ3 RQ3: 開発者はGILTの有用性をどのように認識しているか？
• RQ4 RQ4: 学生とプロフェッショナルの間でGILTの恩恵の差が生じる要因は何か？
• RQ5 RQ5: 実際の開発タスクにおいて、IDE内での文脈に配慮したLLMインタラクションは、従来のウェブ検索と比べてどの程度優れているか？

主な発見

• GILTはウェブ検索よりもタスク完了率が著しく向上し、有意に高い成功確率（p < 0.05）を示した。これは、タスク完了に対する支援が強力であることを示している。
• GILTとウェブ検索との間で、タスク完了時間や自己報告された理解度のレベルに統計的に有意な差は認められず、効率性や理解の深さの向上は限定的であると考えられる。
• プロフェッショナルの開発者がGILTの恩恵を学生よりもより大きく受けた。これは、より効果的なプロンプトを設計できる能力、またはAIツールに慣れ親しんでいる可能性があるためと推察される。
• 学生はプロンプトを自分で書くよりも、プロンプトなしボタンを活用した際により成功していた。これは、プロンプト設計の負担を減らすことで、経験の浅い開発者の使いやすさが向上することを示している。
• 参加者らは、ローカルコードを文脈として使用できる点がGILTの主な強みであると報告した。これは、一般のウェブ検索よりもより関連性が高く正確な応答を可能にした。
• 本研究は、実世界での導入に関するさらなる研究の必要性を浮き彫りにした。実験室環境では、実際の開発ワークフローにおける長期的または大規模な使用パターンとは異なる可能性がある。