[論文レビュー] Enhancing Security Patch Identification by Capturing Structures in Commits

Bozhi Wu, Shangqing Liu+4 more|arXiv (Cornell University)|Jul 19, 2022

Software Engineering Research被引用数 6

ひとこと要約

本稿では、コードの変更とコミットメッセージの両方の構造的情報を捉えることで、自動化されたセキュリティパッチ同定のための新しい深層学習手法E-SPIを提案する。コードに対して文脈的なASTパスを用いたBiLSTMと、コミットメッセージの依存関係グラフに対してゲート付きグラフニューラルネットワーク（GNN）を適用することで、ベンチマークデータ上での最先端手法よりも4.01%高い正答率と4.42%高いF1スコアを達成した。さらに、実環境での展開環境でも顕著な向上を示した。

ABSTRACT

With the rapid increasing number of open source software (OSS), the majority of the software vulnerabilities in the open source components are fixed silently, which leads to the deployed software that integrated them being unable to get a timely update. Hence, it is critical to design a security patch identification system to ensure the security of the utilized software. However, most of the existing works for security patch identification just consider the changed code and the commit message of a commit as a flat sequence of tokens with simple neural networks to learn its semantics, while the structure information is ignored. To address these limitations, in this paper, we propose our well-designed approach E-SPI, which extracts the structure information hidden in a commit for effective identification. Specifically, it consists of the code change encoder to extract the syntactic of the changed code with the BiLSTM to learn the code representation and the message encoder to construct the dependency graph for the commit message with the graph neural network (GNN) to learn the message representation. We further enhance the code change encoder by embedding contextual information related to the changed code. To demonstrate the effectiveness of our approach, we conduct the extensive experiments against six state-of-the-art approaches on the existing dataset and from the real deployment environment. The experimental results confirm that our approach can significantly outperform current state-of-the-art baselines.

研究の動機と目的

• 公開されないまま修正される脆弱性が存在するオープンソースソフトウェアにおける「サイレントセキュリティパッチ」の同定という、極めて重要な課題に取り組む。
• 従来の手法がコードの変更とコミットメッセージを平坦なシーケンスとして扱い、構造的意味を無視するという限界を克服する。
• コード変更における文法的構造とコミットメッセージにおける意味的依存関係を捉えることで、セキュリティパッチ同定の精度を向上させる。
• 変更されたコードに限定されない文脈的なASTパスを組み込むことで、コード表現を向上させ、モデルの一般化性能を向上させる。
• 提示された手法が、ベンチマークデータセットおよび実環境での展開環境の両方で優れた性能を示すことを実証する。

提案手法

• 変更されたコード内およびその文脈に関連する文脈的なASTパスを抽出するASTベースのコード変更エンコーダーを設計し、BiLSTMを用いて意味的表現を学習する。
• コミットメッセージから依存関係グラフを構築し、ゲート付きグラフニューラルネットワーク（GGNN）を適用してトークンレベルの依存関係をモデル化し、文脈的なメッセージ表現を学習する。
• 学習されたコード表現とメッセージ表現をアンサンブル機構を用いて統合し、分類性能を向上させる。
• 変更されたコードにリンクするが、それらに限定されないASTパスをコード表現に追加することで、より広範な文脈的意味を捉える。
• バイナリ分類のためのソフトマックス分類器と交差エントロピー損失を用いて、エンドツーエンドのモデルを訓練する。
• コードトークンおよび自然言語語彙の事前学習済み埋め込みを活用することで、表現品質の向上とモデル収束の改善を図る。

実験結果

リサーチクエスチョン

• RQ1 ASTパスを用いたコード変更の構造的情報モデリングは、平坦なトークンシーケンスを上回るセキュリティパッチ同定を可能にするか？
• RQ2 依存解析とグラフニューラルネットワークは、コミットメッセージにおける意味的関係を効果的にモデル化し、パッチ検出を向上させることができるか？
• RQ3 変更されたコード領域を超えた文脈的なASTパスを組み込むことで、セキュリティパッチ同定のロバスト性と正確性が向上するか？
• RQ4 提案手法E-SPIは、制御されたデータセットと実環境での展開シナリオの両方において、最先端手法と比較してどのように性能を発揮するか？
• RQ5 構造的モデリングと文脈表現学習は、セキュリティパッチ同定における全体的な性能向上にどの程度寄与しているか？

主な発見

• E-SPIはベンチマークデータセット上、最良のベースラインより正答率4.01%、F1スコア4.42%高い性能を達成し、顕著な性能向上を示した。
• 実環境での展開環境では、E-SPIは正答率6.03%、F1スコア7.38%高い性能を示した。
• 変更されたコード領域を超えた文脈的なASTパスの統合は、コード表現の質の向上に明確な寄与を示した。
• コミットメッセージの依存関係グラフにゲート付きGNNを適用することで、意味的依存関係が効果的に捉えられ、平坦なシーケンスモデリングを上回った。
• 本手法は、合成データおよび実世界データの両方の評価設定において、既存手法を一貫して上回った。
• アブレーションスタディの結果、ASTベースのコードエンコーダーとグラフベースのメッセージエンコーダーの両方が最終的な性能向上に顕著に寄与しており、設計選択の妥当性が裏付けられた。