[論文レビュー] The Devil is in the Tails: How Long-Tailed Code Distributions Impact Large Language Models

Xin Zhou, Kisub Kim+4 more|arXiv (Cornell University)|Sep 7, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

本稿は、ソフトウェア工学（SE）のデータセットにおける長尾分布が、コード向け大規模言語モデル（LLM）の性能を顕著に低下させることを調査している。特に、まれな（テール）ラベルでは、性能が30.0%から254.0%も悪化する。3つのSEタスクにおいて、LLMはテールラベルでヘッドラベルと比較して30.0%から254.0%の性能劣化を示しており、この不均衡を是正するためのデータおよびモデル戦略の開発が不可欠であることを示している。

ABSTRACT

Learning-based techniques, especially advanced Large Language Models (LLMs) for code, have gained considerable popularity in various software engineering (SE) tasks. However, most existing works focus on designing better learning-based models and pay less attention to the properties of datasets. Learning-based models, including popular LLMs for code, heavily rely on data, and the data's properties (e.g., data distribution) could significantly affect their behavior. We conducted an exploratory study on the distribution of SE data and found that such data usually follows a skewed distribution (i.e., long-tailed distribution) where a small number of classes have an extensive collection of samples, while a large number of classes have very few samples. We investigate three distinct SE tasks and analyze the impacts of long-tailed distribution on the performance of LLMs for code. Our experimental results reveal that the long-tailed distribution has a substantial impact on the effectiveness of LLMs for code. Specifically, LLMs for code perform between 30.0\% and 254.0\% worse on data samples associated with infrequent labels compared to data samples of frequent labels. Our study provides a better understanding of the effects of long-tailed distributions on popular LLMs for code and insights for the future development of SE automation.

研究の動機と目的

• ソフトウェア工学データセットにおける長尾分布の広がりと影響を調査すること、特にコード関連タスクのラベル付きデータにおいて。
• このような歪んだデータ分布が、最先端のLLM（特にまれな（テール）ラベル）の性能に与える影響を検討すること。
• コンピュータビジョン分野で用いられる既存の長尾緩和技術が、SEの文脈において有効かどうかを評価すること。
• モデルの希少クラスにおける弱みが隠れてしまうのを防ぐために、ヘッドラベルとテールラベルの性能を別々に報告するよう提言すること。
• 今後の研究として、ラベルの関係性に配慮した手法や、テールクラス学習のためのデータ拡張（例：生成AIを用いたもの）の開発を促すこと。

提案手法

• APIシーケンス推薦、コードリビジョン推薦、脆弱性タイプ予測の3つの異なるSEデータセットを収集・分析し、いずれも長尾ラベル分布を示している。
• データサンプルの上位50％を「ヘッド」、下位50％を「テール」としてラベルを分類し、ラベル頻度による性能差を明確に分離した。
• CodeBERT や CodeT5 などの複数のLLMと、ロジスティック回帰やSVM などの従来の機械学習モデルを用い、ヘッドおよびテールサブセットで性能を測定した。
• コンピュータビジョン分野で用いられる既存の長尾緩和技術（例：クラス再バランス、フォーカル損失）をSEデータセットに適用し、移植可能性を検証した。
• 性能評価の偏りを低減し、結果の一貫性を検証するため、10グループに層別にデータ分割を実施した。
• 再現性を確保し、今後の研究拡張を可能にするために、公開用の再現パッケージをリリースした。

実験結果

リサーチクエスチョン

• RQ1 SEデータセットにおける長尾ラベル分布が、コード向けLLMの性能に及ぼす影響はどの程度か？
• RQ2 異なるSEタスクにおいて、LLMのヘッドラベルとテールラベルでの性能はどのように異なるか？
• RQ3 コンピュータビジョン分野で用いられる既存の長尾緩和技術が、SEデータセットにおけるテールラベルの性能向上に有効に機能するか？
• RQ4 SEデータセットに長尾分布が存在する場合、平均精度のみを報告することはどのような意味を持つのか？
• RQ5 ラベルの関係性とデータ拡張を活用することで、希少なコード関連ラベルの学習をどのように改善できるか？

主な発見

• 評価された3つのSEタスクにおいて、コード向けLLMはテールラベルでヘッドラベルと比較して30.0%から254.0%の性能低下を示した。
• 脆弱性タイプ予測タスクでは、TreeVulは頻度の高いヘッドラベル（CWE-79）では88.5%の正答率を示したが、稀なテールラベル（CWE-863）ではわずか11.1%にとどまり、全体の平均正答率73.1%とは対照的であった。
• ロジスティック回帰やSVM といった従来の機械学習モデルでも顕著な性能差が見られ、テールラベルの正答率がヘッドラベルと比較して最大20ポイント低下した。
• コンピュータビジョン分野で用いられる既存の長尾緩和技術は、SEデータセットにおけるテールラベルの性能向上に効果を示さなかった。これは、意味的ラベル関係性を考慮していないことが主な要因とされる。
• 本研究は、平均正答率のみを報告することで、テールラベルにおける深刻な性能劣化が隠蔽されることを確認した。これにより、コミュニティがヘッドとテールの性能を別々に報告するよう強く提言する。
• 今後の解決策は、ラベルの関係性を考慮し、生成AIを用いたデータ生成（例：生成AIによるデータ拡張）を活用することで、SEデータセットにおけるテールクラス学習を改善すべきであると示唆している。