[論文レビュー] Automatically Recommend Code Updates: Are We There Yet?

Yue Liu, Chakkrit Tantithamthavorn+3 more|arXiv (Cornell University)|Sep 15, 2022

Mobile and Web Applications被引用数 5

ひとこと要約

本稿では、CodeT5、CodeBERT、UniXcoder などの事前学習済みコード言語モデル（CodeLMs）を用いたAndroidコードの更新推薦のための包括的評価であるAutoUpdateを提示する。2022年までにGoogle Playに公開され、GitHubにホストされた3,195個のAndroidアプリから得た209,000件の更新済みメソッドを含む新規データセットを用い、時間的要因を考慮した評価において、従来手法に比べ190–385%の性能向上を達成した。特にCodeT5が、あらゆる更新タイプにおいて最良の性能を示した。

ABSTRACT

In recent years, large pre-trained Language Models of Code (CodeLMs) have shown promising results on various software engineering tasks. One such task is automatic code update recommendation, which transforms outdated code snippets into their approved and revised counterparts. Although many CodeLM-based approaches have been proposed, claiming high accuracy, their effectiveness and reliability on real-world code update tasks remain questionable. In this paper, we present the first extensive evaluation of state-of-the-art CodeLMs for automatically recommending code updates. We assess their performance on two diverse datasets of paired updated methods, considering factors such as temporal evolution, project specificity, method size, and update complexity. Our results reveal that while CodeLMs perform well in settings that ignore temporal information, they struggle in more realistic time-wise scenarios and generalize poorly to new projects. Furthermore, CodeLM performance decreases significantly for larger methods and more complex updates. Furthermore, we observe that many CodeLM-generated "updates" are actually null, especially in time-wise settings, and meaningful edits remain challenging. Our findings highlight the significant gap between the perceived and actual effectiveness of CodeLMs for real-world code update recommendation and emphasize the need for more research on improving their practicality, robustness, and generalizability.

研究の動機と目的

• 事前学習済みCodeLMsがAndroidアプリケーションの自動コード更新を推薦するという実現可能性と有効性を調査すること。
• APIの非推奨化や互換性対応修正など、Android固有のコード更新に特化していない従来手法のギャップを埋めること。
• 時間的評価シナリオ（時間順に学習・テストを行う）においてCodeLMsの性能を評価し、ランダムなデータ分割による楽観的すぎる結果を避けること。
• 更新タイプ、メソッドサイズ、更新サイズがCodeLMの性能に与える影響を分析すること。
• 将来の研究の基盤を提供するため、CodeLMsの時系列的適応性と一般化能力に課題が残っていることを特定すること。

提案手法

• 2008年から2022年までにGoogle Playに公開され、GitHubにホストされた3,195個のオープンソースAndroidアプリから、209,000件のペアド更新メソッドを収集した独自データセットを構築した。
• sequence-to-sequence生成フレームワークを用いて、最新のCodeLMs（CodeT5、CodeBERT、CodeGPT、UniXcoder、T5）のコード更新推薦タスクにおける性能を評価した。
• 生成品質と異なる推論戦略におけるロバスト性を評価するため、異なるビームサイズを用いたビームサーチデコードを適用した。
• 時間的評価シナリオを実装し、モデルを過去のコードバージョンで学習させ、将来の更新でテストすることで、実世界の展開条件を模擬した。
• 更新タイプ、メソッドサイズ、更新サイズがモデル性能に与える影響を分析するためのアブレーションスタディを実施した。
• 予測精度と生成コードの文法的自然さを評価するため、標準的な指標（正確一致、BLEU）を用いた。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCodeLMsは、Tufanoら（2020年）のAutoTransformのような従来のディープラーニングモデルに比べ、Androidコード更新の推薦においてどのように性能を発揮するか？
• RQ2 ランダムなデータ分割と比較して、時間的評価シナリオを用いることで、CodeLMsの性能評価にどのような影響が生じるか？
• RQ3 Androidアプリにおけるさまざまなタイプのコード更新において、どのCodeLMアーキテクチャ（例：CodeT5、CodeBERT）が最も優れた性能を示すか？
• RQ4 更新タイプ、メソッドサイズ、更新サイズは、CodeLMsのコード更新推薦における性能にどのように影響を与えるか？
• RQ5 CodeLMsは、異なるAndroidアプリのコードベースや進化するAPI変更に対して、どの程度一般化できるか？

主な発見

• 事前学習済みCodeLMsは従来のベースラインを著しく上回り、現実的時間的評価下で完全一致予測精度が190%～385%向上した。
• CodeT5は、あらゆる更新タイプにおいて一貫して最高の性能を示し、Androidコード更新推薦における優れた一般化能力と適応性を示した。
• 時間的評価により、ランダムなデータ分割は過剰に楽観的な性能推定をもたらすことが判明し、今後のSEモデル評価において時系列的検証の重要性が浮き彫りになった。
• データセットには多様な更新タイプが含まれており、リファクタリングとバグ修正が最も頻度が高かった。これは、モデルが複数の変更意味論を一般化できる必要があることを示唆している。
• メソッドサイズや更新サイズが大きくなるとモデル性能が低下する傾向にあり、複雑または大規模なコード変換を処理する際の課題が明らかになった。
• CodeLMsはAndroidコード更新の自動化において強く有望な可能性を示しているが、時系列的適応性と進化するAPIへのロバスト性は、今後の研究における主な課題のまま残っている。