[論文レビュー] Literature review on vulnerability detection using NLP technology

Jiajie Wu|arXiv (Cornell University)|Apr 23, 2021

Software Engineering Research参考文献 97被引用数 9

ひとこと要約

本レビューでは、CodeBERT、GraphCodeBERT、PLBARTなどの事前学習モデルを用いた自然言語処理（NLP）の最近の進展を統合的に検討し、コード固有のタスクにおける微調整が脆弱性検出の正確性を顕著に向上させることを示している。特に、CodeBERTは不正なコード検出タスクで65.3%の正確性を達成しており、NLP技術がコードインテリジェンスおよび脆弱性分析にいかに有効であるかを示している。

ABSTRACT

Vulnerability detection has always been the most important task in the field of software security. With the development of technology, in the face of massive source code, automated analysis and detection of vulnerabilities has become a current research hotspot. For special text files such as source code, using some of the hottest NLP technologies to build models and realize the automatic analysis and detection of source code has become one of the most anticipated studies in the field of vulnerability detection. This article does a brief survey of some recent new documents and technologies, such as CodeBERT, and summarizes the previous technologies.

研究の動機と目的

• ソースコードにおける自動脆弱性検出のための最近の NLP ベースのアプローチを調査すること。
• CodeBERT や GraphCodeBERT のような事前学習モデルが、コード理解および脆弱性同定の向上に果たす役割を分析すること。
• トランスファー学習およびマルチモーダル事前学習が、脆弱性検出性能に与える影響を評価すること。
• NLP をソフトウェアセキュリティタスクに応用するうえでの主な課題と研究ギャップを特定すること。
• コードインテリジェンスおよび脆弱性検出分野における最先端技術とベンチマーク（例：CodeXGLUE）の包括的概要を提供すること。

提案手法

• 深層学習および事前学習モデルに焦点を当てた、NLPの脆弱性検出への応用に関する最近の文献の体系的レビュー。
• コード処理のための基本的モデル（CNN、RNN）と現代的なアテンションベースのモデル（Transformer、BERT、GPT）に分類する NLP 技術の分類。
• CodeBERT がコードと自然言語のペアに対してマスク言語モデル化（MLM）および置換トークン検出（RTD）を用いることで、事前学習および微調整フレームワークを分析すること。
• CodeXGLUE などのベンチマークを用いて、コード分類、欠陥検出、コード要約などの下流タスクにおけるモデル性能の評価。
• コードインテリジェンスタスクにおけるモデルアーキテクチャの比較：CodeBERT（二モーダル）、GraphCodeBERT（構造的認識）、PLBART（ノイズ耐性の高いノイズ除去）の比較。
• t-SNE ビジュアライゼーションを用いて、学習された埋め込みにおける脆弱なコードと非脆弱なコードの特徴の分離度を評価すること。

実験結果

リサーチクエスチョン

• RQ1 CodeBERT などの事前学習 NLP モデルは、ソースコードにおける自動脆弱性検出の正確性をどのように向上させるか？
• RQ2 標準的なコードモデルと、コード構造を統合する拡張バージョン（例：GraphCodeBERT）の間で、性能にどのような差が生じるか？
• RQ3 大規模なコードおよび自然言語データからのトランスファー学習は、リソースが限られた脆弱性データセットにおける検出性能をどの程度向上させるか？
• RQ4 マスク言語モデル化（MLM）、置換トークン検出（RTD）、ノイズ除去など、異なる事前学習目的が脆弱性検出能力に与える影響は何か？
• RQ5 CodeXGLUE などのベンチマークは、コードインテリジェンスおよび脆弱性検出分野における研究の標準化と前進にどのような役割を果たすか？

主な発見

• NLP技術のソフトウェアセキュリティ分野への統合により、特に事前学習モデルを用いた自動脆弱性検出が顕著に進展した。
• CodeBERT は不正なコード検出タスクで65.3%の正確性を達成し、以前の手法（62.08%）と比較して顕著な向上を示した。
• GraphCodeBERT は、事前学習段階でデータフローおよび制御フロー構造を統合することで、4つの下流タスクにおいて CodeBERT を上回った。
• マスキング、削除、補完の複数のノイズ戦略を用いたノイズ除去自己符号化を採用する PLBART のようなモデルは、コード要約、生成、分類タスクのあらゆる分野で優れた汎化性能を示した。
• 自然言語とコードのマルチモーダル事前学習の活用により、脆弱性に関連する意味的および文法的パターンの理解が向上した。
• t-SNE ビジュアライゼーションの結果、学習された表現が脆弱なコードと非脆弱なコードのサンプルを効果的に分離しており、モデルの強力な識別能力を示している。