[論文レビュー] Predicting Vulnerability In Large Codebases With Deep Code Representation

Anshul Tanwar, Krishna Sundaresan+4 more|arXiv (Cornell University)|Apr 24, 2020

Software Engineering Research参考文献 5被引用数 8

ひとこと要約

本論文では、抽象構文木（AST）のディープラーニング表現とアクティブフィードバックループを活用したAI駆動のシステムを提案する。このシステムは、ソフトウェア開発中のリアルタイムでセキュリティ脆弱性やコード欠陥を予測する。IDEプラグインとして統合されており、過去に同様の問題を抱えていた類似コードセグメントを特定することで、開発者が生産環境に導入される前に繰り返し発生するバグや脆弱性を防ぐことができる。

ABSTRACT

Currently, while software engineers write code for various modules, quite often, various types of errors - coding, logic, semantic, and others (most of which are not caught by compilation and other tools) get introduced. Some of these bugs might be found in the later stage of testing, and many times it is reported by customers on production code. Companies have to spend many resources, both money and time in finding and fixing the bugs which would have been avoided if coding was done right. Also, concealed flaws in software can lead to security vulnerabilities that potentially allow attackers to compromise systems and applications. Interestingly, same or similar issues/bugs, which were fixed in the past (although in different modules), tend to get introduced in production code again. We developed a novel AI-based system which uses the deep representation of Abstract Syntax Tree (AST) created from the source code and also the active feedback loop to identify and alert the potential bugs that could be caused at the time of development itself i.e. as the developer is writing new code (logic and/or function). This tool integrated with IDE as a plugin would work in the background, point out existing similar functions/code-segments and any associated bugs in those functions. The tool would enable the developer to incorporate suggestions right at the time of development, rather than waiting for UT/QA/customer to raise a defect. We assessed our tool on both open-source code and also on Cisco codebase for C and C++ programing language. Our results confirm that deep representation of source code and the active feedback loop is an assuring approach for predicting security and other vulnerabilities present in the code.

研究の動機と目的

• 開発段階で発生するが、テスト段階や本番環境でしか発見されない未検出のソフトウェアバグやセキュリティ脆弱性に対処する。
• デプロイ後ではなく、コーディング段階で潜在的な問題を特定することで、バグ修正にかかるコストと作業負荷を低減する。
• 過去のコード変更におけるバグデータを活用し、新規コードにおける類似問題の再発を防ぐ。
• リアルタイムで動作し、IDEに統合されたシステムを構築し、ディープコード表現を用いて開発者に潜在的脆弱性を事前に警告する。
• 大規模なC/C++コードベースにおける脆弱性予測に、AST上のディープラーニングとフィードバックメカニズムを組み合わせた有効性を実証する。

提案手法

• ソースコードから抽出した抽象構文木（AST）を学習対象として、ニューラルネットワークを用いてディープコード表現を構築する。
• コードスニペット間の意味的類似性をAST構造に基づいて学習するため、シアン型ニューラルネットワークアーキテクチャを採用する。
• 過去の修正履歴から学び、類似したコードパターンと既知の脆弱性を関連付けるアクティブフィードバックループを実装する。
• バグ修正を含む歴史的コード変更データを用いて、セキュリティ欠陥に関連するパターンを同定する。
• IDE内にリアルタイムで統合されたプラグインとしてモデルを実装し、コードが入力される度に解析し、潜在的な問題を提示する。
• トランスファーラーニングとファインチューニング技術を活用し、シスコ社のC/C++コードベースを含む特定のコードベースにモデルを適応させる。

実験結果

リサーチクエスチョン

• RQ1 ASTのディープラーニング表現は、大規模コードベースにおけるセキュリティ脆弱性を効果的に予測できるか？
• RQ2 過去のバグ修正をどれだけ活用すれば、新規コードにおける類似脆弱性を予測できるか？
• RQ3 アクティブフィードバックループは、開発段階における脆弱性予測の正確性と関連性をどの程度向上させるか？
• RQ4 従来のテスト手法と比較して、提案手法は開発ライフサイクルのはじめに脆弱性を早期に検出できるか？
• RQ5 本モデルは、オープンソースおよび企業向けソフトウェアを含むさまざまなコードベースにどの程度一般化できるか？

主な発見

• 本システムは、過去のバグ修正から学習することで、再発の可能性を低減する脆弱なコードパターンを効果的に特定した。
• ディープAST表現は、コードセグメント間の意味的・構造的類似性を捉え、類似する脆弱性の正確な検出を可能にした。
• アクティブフィードバックループの統合により、開発者からのフィードバックと過去の修正履歴を組み込むことで、予測精度が顕著に向上した。
• 本モデルは、シスコ社のC/C++コードベースを含むオープンソースおよび企業向けコードベースにおいて、強力なパフォーマンスを示した。
• IDE内でのリアルタイム解析により、開発者は潜在的脆弱性を即座に是正でき、本番環境での欠陥発生率が低下した。
• 本アプローチは、構文的ルールに依存する従来の静的解析ツールと比較して、意味的類似性と歴史的文脈に焦点を当てた点で優れた性能を示した。