[論文レビュー] Generative AI for Software Metadata: Overview of the Information Retrieval in Software Engineering Track at FIRE 2023

Srijoni Majumdar, Soumen Paul+6 more|arXiv (Cornell University)|Oct 27, 2023

Software Engineering Research被引用数 5

ひとこと要約

本稿では、ソフトウェアの保守可能性に関するコードコメントの有用性を二値分類する際、大規模言語モデル（LLM）が生成する「シルバー標準」ラベルを用いることで、その性能向上を評価している。9,048件のC言語ベースのGitHubコメントから成るデータセットと、LLMで拡張されたデータを用い、17のチームが合計56件の実験を実施した。その結果、LLMラベルの導入によりモデルの過学習が軽減され、F1スコアがわずかに向上（最大4%の向上）することが示された。これは、ゴールドスタンダードラベルの作成にかかる作業を最小限に抑えつつ、コメント品質のスケーラブルな評価が可能であることを裏付けている。

ABSTRACT

The Information Retrieval in Software Engineering (IRSE) track aims to develop solutions for automated evaluation of code comments in a machine learning framework based on human and large language model generated labels. In this track, there is a binary classification task to classify comments as useful and not useful. The dataset consists of 9048 code comments and surrounding code snippet pairs extracted from open source github C based projects and an additional dataset generated individually by teams using large language models. Overall 56 experiments have been submitted by 17 teams from various universities and software companies. The submissions have been evaluated quantitatively using the F1-Score and qualitatively based on the type of features developed, the supervised learning model used and their corresponding hyper-parameters. The labels generated from large language models increase the bias in the prediction model but lead to less over-fitted results.

研究の動機と目的

• ソフトウェア工学分野におけるコードコメントの有用性を分類するためのゴールドスタンダードデータセットを、LLM生成ラベルで効果的に補完できるかを調査すること。
• LLMから得られるシルバー標準ラベルが、コメント品質分類におけるモデルの汎化性能とパフォーマンスに与える影響を評価すること。
• ゴールドラベルとLLM生成ラベルを併用して学習させた際、さまざまな特徴量、埋め込み手法、機械学習モデルが分類性能に与える影響を分析すること。
• LLMラベルに起因するバイアスと、コメント品質予測モデルにおける過学習の軽減の間のトレードオフを理解すること。
• 多様なソフトウェアシステムやプログラミング言語に適用可能な、スケーラブルでデータ効率の良いコメント品質評価手法を確立すること。

提案手法

• コードコメントが「有用」または「有用でない」という二値分類タスクを用い、コードの理解に寄与するかどうかを基準にラベル付けを行う。
• オープンソースのGitHubプロジェクトから収集した9,048件のC言語ベースのコード-コメントペアを含む初期データセットを構築し、人間によるアノテーションによる「ゴールド」ラベルを付与した。
• さらに、LLM（例：GPT-2、BERT）を用いて「シルバー標準」ラベルを生成し、データ拡張を実施した。
• テキスト的、構造的、意味的特徴量（例：TF-IDF、word2vec、BERT埋め込み、品詞タグ、ASTベースの相関）を用いて、コードとコメントのペアを表現した。
• ニューラルネットワーク、SVMなどの教師あり学習モデルを、ゴールドデータとシルバー標準データを併用して学習させ、F1スコア、適合率、再現率で性能を評価した。
• モデルの性能は、ゴールドスタンダードテストセットを用いた定量的評価と、特徴量設計、モデル選択、ハイパーパramータチューニングに基づく定性的評価の両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 LLM生成ラベルは、コードコメントの有用性を分類する機械学習モデルの性能向上に効果的に寄与できるか？
• RQ2 LLMから得られるシルバー標準ラベルを統合することで、コメント品質分類におけるモデルのバイアスと過学習にどのような影響を与えるか？
• RQ3 ゴールドラベルとLLM生成ラベルを併用して学習させる際、どの種類の特徴量や埋め込み手法が最も頑健な性能を発揮するか？
• RQ4 LLM生成ラベルによるデータ拡張は、多様なコードベースやコメントスタイルにわたる汎化性能をどの程度向上させるか？
• RQ5 異なるLLMやプロンプト戦略は、ソフトウェアメタデータタスクにおける合成ラベルの質と信頼性にどのような影響を与えるか？

主な発見

• LLM生成ラベルの統合により、F1スコアにわずかだが一貫した向上が見られ、複数の提出において2%～4%の向上が確認された。
• 一部のバイアスが生じるものの、特にゴールドスタンダードデータセットが小さい場合に、LLM生成ラベルの導入によりモデルの過学習が顕著に軽減された。
• BERTやELMo埋め込みを用いたチームは、TF-IDFやワンホットエンコーディングといった単純な手法よりも高いF1スコア（例：DDU-1データセットで0.885）を達成した。
• 最も優れた性能を示したモデルは、テキスト特徴量（例：品詞タグ、単語頻度）とコード-コメント相関特徴量（例：grep風の文字列マッチング）を組み合わせることで、意味的整合性を向上させた。
• DDU-1チームは、統合データセット上でF1スコア0.893を達成し、LLM拡張データを用いた場合の優れた汎化性能を示した。
• 複数のチームが、LLM生成データのみを用いた場合に性能が低下することを報告しており、最適な結果を得るにはゴールドスタンダードラベルと併用する必要があることが示された。