[論文レビュー] Pre-trained Model-based Automated Software Vulnerability Repair: How Far are We?

Quanjun Zhang, Chunrong Fang+4 more|arXiv (Cornell University)|Aug 24, 2023

Software Engineering Research被引用数 7

ひとこと要約

本論文は、自動ソフトウェア脆弱性修復のための事前学習モデルを調査し、修復精度において、最先端のVRepair手法を平均16.16%上回ることを実証した。データ前処理、モデル学習、推論プロセスの各段階を体系的に評価することで、バグ修正からのシンプルな転移学習アプローチが、さらに9.40%の性能向上をもたらすことが明らかになった。本研究は、この分野における今後の研究開発に実用的な指針を提供する。

ABSTRACT

Various approaches are proposed to help under-resourced security researchers to detect and analyze software vulnerabilities. It is still incredibly time-consuming and labor-intensive for security researchers to fix vulnerabilities. The time lag between reporting and fixing a vulnerability causes software systems to suffer from significant exposure to possible attacks. Recently, some techniques have proposed applying pre-trained models to fix security vulnerabilities and have proved their success in improving repair accuracy. However, the effectiveness of existing pre-trained models has not been systematically analyzed, and little is known about their advantages and disadvantages. To bridge this gap, we perform the first extensive study on applying various pre-trained models to vulnerability repair. The results show that studied pre-trained models consistently outperform the state-of-the-art technique VRepair with a prediction accuracy of 32.94%~44.96%. We also investigate the impact of major phases in the vulnerability repair workflow. Surprisingly, a simplistic approach adopting transfer learning improves the prediction accuracy of pre-trained models by 9.40% on average. Besides, we provide additional discussion to illustrate the capacity and limitations of pre-trained models. Finally, we further pinpoint various practical guidelines for advancing pre-trained model-based vulnerability repair. Our study highlights the promising future of adopting pre-trained models to patch real-world vulnerabilities.

研究の動機と目的

• 事前学習モデルが自動ソフトウェア脆弱性修復に与える効果を体系的に評価すること。
• 実世界のセキュリティ脆弱性を修復する文脈において、既存の事前学習モデルの強みと限界を特定すること。
• データ前処理、モデル学習、修復推論といった、主要なワークフロー段階が修復性能に与える影響を調査すること。
• バグ修正からの簡素な転移学習アプローチが、脆弱性修復の精度を向上させることを検証すること。
• 今後の事前学習モデルベースの脆弱性修復システム開発に向けた、実用的で実行可能なガイドラインを提供すること。

提案手法

• 本研究は、2つの公開脆弱性データセットを用いて、複数の事前学習モデルのコード修復タスクにおける性能を評価した。
• データ前処理、脆弱性修復データへのファインチューニング、パッチ生成のための推論を含む体系的なパイプラインを採用した。
• バグ修正コーパスからの事前学習重みを初期値として使用する転移学習戦略を適用し、一般のコード修復知識を活用した。
• T5 や CodeBERT といったモデルを用いて、系列から系列へのモデリングを実施し、ラベル付きの脆弱性-修正ペアに対してファインチューニングした。
• 異なる事前学習アーキテクチャ間での性能比較を行い、データ表現およびファインチューニング戦略の影響を分析した。
• 最終的な精度に与える各段階の影響を特定するため、全パイプラインにわたりアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 最先端の事前学習モデルは、VRepairなどの既存手法と比較して、自動脆弱性修復においてどの程度効果的か？
• RQ2 RQ2: 異なるデータ前処理戦略は、事前学習モデルの脆弱性修復性能にどのような影響を与えるか？
• RQ3 RQ3: モデル学習のハイパーパrameterおよびファインチューニング戦略は、修復精度にどのような影響を与えるか？
• RQ4 RQ4: 修復推論段階は、生成されたパッチの品質および正しさにどのように影響を与えるか？
• RQ5 RQ5: バグ修正からの簡素な転移学習アプローチが、脆弱性修復における事前学習モデルの性能をさらに向上させられるか？

主な発見

• 調査対象のすべての事前学習モデルがVRepairを上回り、2つの脆弱性データセットにおいて予測精度が32.94%から44.96%に達した。
• 平均して、事前学習モデルはVRepairを16.16%上回る修復精度を達成し、顕著な性能向上が確認された。
• バグ修正コーパスからの知識転送を簡素化したアプローチが、事前学習モデルの性能を平均9.40%向上させた。
• データ前処理およびファインチューニング戦略は、モデルの有効性に顕著な影響を与え、最適な設定が精度を向上させた。
• 本研究では、コード表現およびモデル初期化が修復成功に大きく寄与することが特定された。
• 実用的ガイドラインが導出された。具体的には、ファインチューニング戦略の重要性や、ChatGPTのようなモデルを用いたゼロショットまたはフェイントショット適応の可能性が示された。