[論文レビュー] On Distribution Shift in Learning-based Bug Detectors

Jingxuan He, Luca Beurer-Kellner+1 more|arXiv (Cornell University)|Apr 21, 2022

Software Engineering Research被引用数 4

ひとこと要約

この論文は、学習ベースのバグ検出器の性能が低い原因として、トレーニングに使われる合成バグと実際のバグとの間の不一致である分布シフトを特定している。著者らは、まず合成バグで事前学習し、次にデータの不均衡があるが現実的である小さな実バグデータセットで微調整する二段階のトレーニング手法を提案している。微調整段階では、フォーカル損失、対照的学習、およびマルチタスク階層を用いて、実世界のテストセットで最高51%の精度を達成しており、従来手法を著しく上回っている。

ABSTRACT

Deep learning has recently achieved initial success in program analysis tasks such as bug detection. Lacking real bugs, most existing works construct training and test data by injecting synthetic bugs into correct programs. Despite achieving high test accuracy (e.g., 90%), the resulting bug detectors are found to be surprisingly unusable in practice, i.e., <10% precision when used to scan real software repositories. In this work, we argue that this massive performance difference is caused by a distribution shift, i.e., a fundamental mismatch between the real bug distribution and the synthetic bug distribution used to train and evaluate the detectors. To address this key challenge, we propose to train a bug detector in two phases, first on a synthetic bug distribution to adapt the model to the bug detection domain, and then on a real bug distribution to drive the model towards the real distribution. During these two phases, we leverage a multi-task hierarchy, focal loss, and contrastive learning to further boost performance. We evaluate our approach extensively on three widely studied bug types, for which we construct new datasets carefully designed to capture the real bug distribution. The results demonstrate that our approach is practically effective and successfully mitigates the distribution shift: our learned detectors are highly performant on both our test set and the latest version of open source repositories. Our code, datasets, and models are publicly available at https://github.com/eth-sri/learning-real-bug-detector.

研究の動機と目的

• 合成バグでトレーニングされたバグ検出器とその実世界での展開との間の性能格差の根本原因を特定すること。
• トレーニングに使われる合成バグと実際の生産コードにおけるバグとの間の根本的な分布シフトを是正すること。
• 実世界のコードリポジトリで高い性能を発揮する実用的な二段階トレーニングフレームワークを開発すること。
• 極端なクラス不均衡を含む、実際のバグの真の分布を反映する現実的なデータセットを構築すること。
• 合成バグでの事前学習と実バグでの微調整を組み合わせることで、はるかに効果的で正確な検出器が得られることを示すこと。

提案手法

• 二段階トレーニングパイプラインの提案：まずバランスの取れた合成バグデータセットで事前学習し、次に現実的で不均衡な実バグデータセットで微調整する。
• 関連するバグタイプ間での一般化と特徴学習を向上させるためにマルチタスク階層を統合する。
• 微調整段階でのクラス不均衡を緩和し、検出が難しい実バグに焦点を当てるためにフォーカル損失を適用する。
• バグあり・バグなしのコードペアを区別する対照的学習を用いて、表現学習を強化する。
• コード表現のバックボーンネットワークとして、事前学習済みのコードモデル（例：CuBERT）を活用する。
• GitHubのコミットから抽出した実バグと非バグコードを用いて、実世界のデータ分布を反映する新しいデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 実世界のコードリポジトリに展開した際、学習ベースのバグ検出器の精度が著しく低下する原因は何ですか？
• RQ2 合成バグと実バグの分布の間の分布シフトが、既存のバグ検出器の性能をどの程度損なっているでしょうか？
• RQ3 合成バグと実バグのデータを組み合わせた二段階トレーニング戦略は、バグ検出における分布シフトを効果的に緩和できるでしょうか？
• RQ4 フォーカル損失、対照的学習、タスク階層といった補助的要素は、実世界データにおける検出器性能をどのように向上させるでしょうか？
• RQ5 少数の実バグでトレーニングされた検出器は、大規模で不均衡な生産コードに効果的に一般化できるでしょうか？

主な発見

• 既存のバグ検出器の性能は、合成テストセットでは90%を超える精度を示すが、実世界のテストセットでは10%未満にまで低下し、深刻な分布シフトが確認された。
• 実バグが0.5%、非バグコードが99.5%の実世界テストセットにおいて、最良のベースラインモデルでも精度はわずか3%にとどまり、現在のアプローチの実用的無効性が浮き彫りになった。
• 提案された二段階トレーニング手法は、同じ実世界テストセットで最高51%の精度を達成し、ベースラインを著しく上回り、分布シフトの効果的な緩和が示された。
• 合成バグでの事前学習と、フォーカル損失および対照的学習を用いた実バグでの微調整を組み合わせたアプローチが最高の性能を発揮し、両段階の必要性が裏付けられた。
• 本手法は、変数の誤用や誤った二項演算子といった複数のバグタイプに一般化可能であり、オープンソースリポジトリの最新版でも良好な性能を示した。
• 著者らは、再現可能性とより深い研究を促進するため、公開データセット、モデル、およびコードをリリースした。