[論文レビュー] DefectHunter: A Novel LLM-Driven Boosted-Conformer-based Code Vulnerability Detection Mechanism

Jin Wang, Zishan Huang+3 more|arXiv (Cornell University)|Sep 27, 2023

Software Engineering Research被引用数 8

ひとこと要約

DefectHunterは構造的コードグラフをConformerベースのアーキテクチャとLLM埋め込みと組み合わせ、CWE、QEMU、FFmpegデータセットでベースラインより顕著な精度向上を達成する。

ABSTRACT

One of the most pressing threats to computing systems is software vulnerabilities, which can compromise both hardware and software components. Existing methods for vulnerability detection remain suboptimal. Traditional techniques are both time-consuming and labor-intensive, while machine-learning-based approaches often underperform when applied to complex datasets, due to their inability to capture high-dimensional relationships. Previous deep-learning strategies also fall short in capturing sufficient feature information. Although self-attention mechanisms can process information over long distances, they fail to capture structural information. In this paper, we introduce DefectHunter, an innovative model for vulnerability identification that employs the Conformer mechanism. This mechanism fuses self-attention with convolutional networks to capture both local, position-wise features and global, content-based interactions. Furthermore, we optimize the self-attention mechanisms to mitigate the issue of excessive attention heads introducing extraneous noise by adjusting the denominator. We evaluated DefectHunter against ten baseline methods using six industrial and two highly complex datasets. On the QEMU dataset, DefectHunter exhibited a 20.62\% improvement in accuracy over Pongo-70B, and for the CWE-754 dataset, its accuracy was 14.64\% higher. To investigate how DefectHunter comprehends vulnerabilities, we conducted a case study, which revealed that our model effectively understands the mechanisms underlying vulnerabilities.

研究の動機と目的

• 従来の静的/動的分析や素の深層学習だけでは捉えきれないコードの脆弱性検出の堅牢性を動機づける。
• ローカル（畳み込み）とグローバル（自己注意）特徴抽出を融合するConformerベースのアーキテクチャを提案する。
• 構造的コードグラフ（AST/CFG/DFG）と事前学習済みLLMからの意味論的コード埋め込みを活用して検知性能を向上させる。
• 複数の産業用・複雑なデータセットを用いて、ベースラインに対する性能向上を実証し、要素の寄与を分析する。

提案手法

• コードスニペットからAST・CFG・DFG表現を導く構造情報処理を用いる。
• コードトークンを事前学習済みコードモデルで埋め込み、Code Sequence Embeddings (CSEs)を取得する。
• 畳み込みモジュールとマルチヘッド自己注意、および修正された位置エンコーディングを統合するConformerベースのブロックを採用する。
• マルチヘッド注意におけるsoftmaxの注意分母を変更し、多数の注意ヘッドによるノイズを低減する。
• 統合された構造的および意味論的特徴に対して多層パーセプトロン分類器を訓練し、脆弱性を予測する。

実験結果

リサーチクエスチョン

• RQ1 構造コードグラフと意味埋め込みを統合することは、脆弱性検出性能にどのような影響を与えるか。
• RQ2 このドメインにおけるConformerアーキテクチャは標準的なTransformerベース手法に比べてどの程度の利得をもたらすか。
• RQ3 Conformerの各要素（AST/DFG/CFG、注意機構の変更、LLMの使用）のアブレーションは、さまざまなデータセットでの性能にどのような影響を与えるか。

主な発見

• DefectHunterはCWEデータセットでベースラインより高い精度を達成し、特定のCWEタイプでACCが0.9141–0.9999の範囲になる。
• FFmpegおよびQEMUデータセットでは、それぞれACCが0.6653および0.6459を達成し、多くの指標で複数のベースラインを上回る。
• Pongo-70Bと比較して、DefectHunterはCWEデータセットでACCを14.64ポイント、QEMUで20.62ポイント改善。
• アブレーションの結果、ConformerとLLMコンポーネントが性能に大きく寄与しており、AST/DFG/CFGまたはConformerモジュールを除くと顕著な低下が生じる。
• DefectHunterは、より小さく適切に調整されたモデルが、脆弱性検知においてより大規模なLLMベース手法よりも優れていることを示している。