[論文レビュー] Making the most of small Software Engineering datasets with modern machine learning

Julian Aron Prenner, Romain Robbes|arXiv (Cornell University)|Jun 29, 2021

Software Engineering Research被引用数 4

ひとこと要約

この論文は、1,000件未満のサンプルを含む13の小さなソフトウェア工学（SE）データセット（1,000未満）において、事前学習済みのトランスフォーマーモデル（例：BERT、RoBERTa）を評価し、自然言語処理タスクにおける有効性とコード関連タスクにおける競争力のある性能を示している。事前学習が小さなSEデータセットにおける性能を向上させることを確認した一方で、非常に小さなコード関連データセットでは従来の機械学習手法がトランスフォーマーを上回ることを発見し、学習効率の向上のためのアクティブラーニングやソフトラベルの手法を推奨している。

ABSTRACT

This paper provides a starting point for Software Engineering (SE) researchers and practitioners faced with the problem of training machine learning models on small datasets. Due to the high costs associated with labeling data, in Software Engineering,there exist many small (< 1 000 samples) and medium-sized (< 100 000 samples) datasets. While deep learning has set the state of the art in many machine learning tasks, it is only recently that it has proven effective on small-sized datasets, primarily thanks to pre-training, a semi-supervised learning technique that leverages abundant unlabelled data alongside scarce labelled data.In this work, we evaluate pre-trained Transformer models on a selection of 13 smaller datasets from the SE literature, covering both,source code and natural language. Our results suggest that pre-trained Transformers are competitive and in some cases superior to previous models, especially for tasks involving natural language; whereas for source code tasks, in particular for very small datasets,traditional machine learning methods often has the edge.In addition, we experiment with several techniques that ought to aid training on small datasets, including active learning, data augmentation, soft labels, self-training and intermediate-task fine-tuning, and issue recommendations on when they are effective. We also release all the data, scripts, and most importantly pre-trained models for the community to reuse on their own datasets.

研究の動機と目的

• 高コストなラベル付けのため、小さなソフトウェア工学データセットで効果的な機械学習モデルを訓練するという課題に対処すること。
• 事前学習済みトランスフォーマーモデル（例：BERT、RoBERTa）が、ソースコードおよび自然言語処理タスクの両方において、小さなSEデータセットでどの程度有効であるかを評価すること。
• アクティブラーニング、データ拡張、自己学習などの技術が、小さなデータセットにおけるモデル性能をどのように向上させるかを調査し、推奨事項を提示すること。
• すべてのデータ、コード、事前学習済みモデルを公開し、SEコミュニティにおける再利用と再現可能性を支援すること。

提案手法

• 文献に掲載された13の小さなSEデータセット（コードおよび自然言語処理タスクを含む）に対して、事前学習済みトランスフォーマーモデル（例：BERT、RoBERTa）を微調整すること。
• バックトランスレーションおよび同義語置換によるデータ拡張を実施し、訓練データの多様性を向上させること。
• アンサンブルモデルから得られるソフトラベルを用いて、限られたラベル付きデータにおける一般化性能を向上させること。
• ラベル付けの際、最も不確実なサンプルを段階的に選択することで、アノテーションコストを削減するアクティブラーニングを実装すること。
• ターゲットSEタスクにおける微調整の前に、関連する自然言語処理タスクで中間タスクの微調整を実施し、インダクティブバイアスを向上させること。
• 標準的な指標（例：F1スコア、正解率）を用いてモデル性能を評価し、各データセットにおける先行研究の最良手法と比較すること。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みトランスフォーマーモデルは、従来の機械学習モデルと比較して、小さなソフトウェア工学データセットでどの程度の性能を示すか？
• RQ2 バックトランスレーションやソフトラベルなどのデータ拡張およびラベリング手法の中で、小さなSEデータセットにおけるモデル性能向上に最も効果的なものは何か？
• RQ3 アクティブラーニングは、どのような状況でラベル付け作業量を削減しながら、モデル性能を維持または向上させられるか？
• RQ4 中間タスクの微調整は、小さなSEデータセットにおける性能向上に寄与するのか？また、どのようなタスクで最も効果的か？
• RQ5 コード関連のSEタスクにおいて、事前学習モデルは古典的な機械学習モデルと比較して、どのような条件下で優れるか、あるいは劣るか？

主な発見

• 事前学習済みトランスフォーマーは、小さなSEデータセットにおける自然言語処理タスクで、競争的または優れた性能を示し、しばしば先行研究の最良手法を上回っている。
• 非常に小さなコード関連データセット（例：100件未満）では、SVM やランダムフォレストなどの従来の機械学習手法が、依然としてトランスフォーマーを上回っている。
• アクティブラーニングは、特にリソースが限られた環境下で、必要なラベル付きサンプル数を顕著に削減しつつ、高い性能を維持する。
• アンサンブルモデルから得られるソフトラベルは、ラベルがノイズが多いか希少な場合に特に、一般化性能とモデルの頑健性を向上させる。
• バックトランスレーションによるデータ拡張は、自然言語処理タスクでの性能向上に寄与するが、コード関連タスクでは効果が限定的である。
• 中間タスクの微調整は、下流のSEタスクにおける性能向上に寄与し、特に中間タスクがターゲットタスクと意味的に関連している場合に顕著である。