[論文レビュー] AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing Software Vulnerabilities

Michael C. Fu, Chakkrit Tantithamthavorn+5 more|arXiv (Cornell University)|May 26, 2023

Software Engineering Research被引用数 7

ひとこと要約

AIBugHunter は、Visual Studio Code に統合された機械学習ベースのツールであり、C/C++ ソフトウェアの脆弱性について、リアルタイムでの検出、分類、深刻度推定、修復提案を可能にする。脆弱性分類のための新規なマルチオブジェクティブ最適化アプローチと、深刻度推定のためのトランスフォーマー基盤モデルを組み合わせ、最先端の正確性を達成し、ユーザースタディーにおいて強い開発者採用傾向を示している。

ABSTRACT

Many ML-based approaches have been proposed to automatically detect, localize, and repair software vulnerabilities. While ML-based methods are more effective than program analysis-based vulnerability analysis tools, few have been integrated into modern IDEs, hindering practical adoption. To bridge this critical gap, we propose AIBugHunter, a novel ML-based software vulnerability analysis tool for C/C++ languages that is integrated into Visual Studio Code. AIBugHunter helps software developers to achieve real-time vulnerability detection, explanation, and repairs during programming. In particular, AIBugHunter scans through developers' source code to (1) locate vulnerabilities, (2) identify vulnerability types, (3) estimate vulnerability severity, and (4) suggest vulnerability repairs. In this article, we propose a novel multi-objective optimization (MOO)-based vulnerability classification approach and a transformer-based estimation approach to help AIBugHunter accurately identify vulnerability types and estimate severity. Our empirical experiments on a large dataset consisting of 188K+ C/C++ functions confirm that our proposed approaches are more accurate than other state-of-the-art baseline methods for vulnerability classification and estimation. Furthermore, we conduct qualitative evaluations including a survey study and a user study to obtain software practitioners' perceptions of our AIBugHunter tool and assess the impact that AIBugHunter may have on developers' productivity in security aspects. Our survey study shows that our AIBugHunter is perceived as useful where 90% of the participants consider adopting our AIBugHunter. Last but not least, our user study shows that our AIBugHunter could possibly enhance developers' productivity in combating cybersecurity issues during software development.

研究の動機と目的

• 機械学習ベースの脆弱性検出ツールと、Visual Studio Code のような現代的な IDE における実用的採用のギャップを埋める。
• ソフトウェア開発中にリアルタイムで IDE 内でセキュリティ分析を実行し、シフトレフトセキュリティの実践を支援する。
• 修復提案を含む、実行可能で説明可能な脆弱性インサイトを提供することで、開発者の生産性を向上させる。
• 脆弱性予測における説明可能な AI の欠如に対処し、分類、深刻度、修復に関する説明を提供する。
• アンケートとユーザースタディーを通じて、実務者による認識と実世界への影響を評価する。

提案手法

• コードシーケンスの深層学習に基づき、正確な行単位の脆弱性局所化を実現する LineVul を統合する。
• 複数の脆弱性分類タスクを同時に最適化するマルチオブジェクティブ最適化（MOO）フレームワークを採用し、学習中に矛盾する目的をバランスさせる。
• 文脈的なコード表現を用いて深刻度を推定するトランスフォーマー基盤アーキテクチャを活用する。
• 予測、分類、修復提案の説明可能性を提供するため、モデルに依存しない説明技術（例：LIME）を適用する。
• コーディング中にリアルタイムの静的解析を可能にするために、VS Code 拡張機能としてシステムをデプロイする。
• 大規模データセット（188K 以上の C/C++ 関数）からの歴史的脆弱性データを統合し、モデルの学習と検証に使用する。

実験結果

リサーチクエスチョン

• RQ1 主流の IDE である Visual Studio Code に、機械学習ベースの脆弱性分析ツールを効果的に統合できるか？
• RQ2 マルチオブジェクティブ最適化アプローチは、既存の最先端手法と比較して、複数の脆弱性タイプを同時に分類する際の正確性はどうか？
• RQ3 トランスフォーマー基盤モデルは、188K 以上の関数を含む大規模 C/C++ データセットにおいて、深刻度推定の正確性をどの程度向上させるか？
• RQ4 ソフトウェア開発者が、AI パワーの脆弱性アシスタントの有用性と使いやすさをどのように認識しているか？
• RQ5 AIBugHunter は、開発者がセキュリティ分析に費やす時間をどの程度短縮でき、生産性を向上させられるか？

主な発見

• AIBugHunter は、脆弱性分類において最先端のパフォーマンスを達成し、トップ1の予測順位で CWE-119 バッファーオーバーフローの79％を正しく特定した。
• マルチオブジェクティブ最適化アプローチは、単一タスクベースラインを上回り、複数の脆弱性タイプを同時に分類する際の一般化性能が向上した。
• トランスフォーマー基盤の深刻度推定モデルは、188K 以上の関数を含む大規模 C/C++ データセットにおいて、ベースライン手法よりも高い正確性を示した。
• 21名の実務者を対象に実施したアンケートでは、90％の参加者が AIBugHunter を開発ワークフローに採用する意思を示し、強い実用的価値の認識が確認された。
• ユーザースタディーの結果、AIBugHunter は開発者がセキュリティ分析に費やす時間を短縮でき、脆弱性の特定と是正における生産性向上に寄与した。
• 本ツールは現在、Visual Studio Code マーケットプレイスで公開されており、再現可能性を確保するため、トレーニングデータとコードが GitHub で公開されている。