[論文レビュー] Learning to Catch Security Patches

Arthur D. Sawadogo, Tegawendé F. Bissyandé+5 more|arXiv (Cornell University)|Jan 24, 2020

Advanced Malware Detection Techniques参考文献 43被引用数 11

ひとこと要約

本論文では、コミットログとコード変更特徴量を活用してソフトウェアリポジトリ内でセキュリティパッチを自動的に特定する共同学習アプローチを提案する。95%の精度と88%の再現率を達成しており、最先端の手法を著しく上回り、以前にラベルが付けられていなかった「静黙的」なセキュリティ修正を効果的に検出できた。

ABSTRACT

Timely patching is paramount to safeguard users and maintainers against dire consequences of malicious attacks. In practice, patching is prioritized following the nature of the code change that is committed in the code repository. When such a change is labeled as being security-relevant, i.e., as fixing a vulnerability, maintainers rapidly spread the change and users are notified about the need to update to a new version of the library or of the application. Unfortunately, oftentimes, some security-relevant changes go unnoticed as they represent silent fixes of vulnerabilities. In this paper, we propose a Co-Training-based approach to catch security patches as part of an automatic monitoring service of code repositories. Leveraging different classes of features, we empirically show that such automation is feasible and can yield a precision of over 90% in identifying security patches, with an unprecedented recall of over 80%. Beyond such a benchmarking with ground truth data which demonstrates an improvement over the state-of-the-art, we confirmed that our approach can help catch security patches that were not reported as such.

研究の動機と目的

• CVE やアドバイザリの公表がないにもかかわらず、セキュリティ関連のコード変更を静黙的に修正する問題に対処すること。
• 貢献時における利用可能なコミットレベルの情報のみを用いて、セキュリティパッチの自動検出を実現すること。
• 複数の特徴ビューにおける共同学習を活用することで、既存の手法を改善すること。
• 実証的検証を通じて、以前にラベルが付けられていなかったセキュリティパッチを同定できることを示すこと。

提案手法

• 自然言語特徴量（コミットログから）と構造的コード変更特徴量（例：行の変更、配列インデックスの変更など）という異なる特徴ビューで学習された2つの分類器を用いる。
• 相互学習（co-training）という半教師あり学習手法を適用し、各分類器が高信頼度の未ラベル付きサンプルを他方の分類器にラベル付けすることで、一般化性能を向上させる。
• 特徴量には、コミットメッセージのキーワード、コード変更メトリクス（例：変更された行数）、脆弱性を示唆するパターン（例：バッファオーバーフロー、メモリリーク）が含まれる。
• ラベルが少なく、かつ貢献時におけるみずからのデータしか入手できないという現実世界の制約下でも動作するように設計されている。
• 一般化性を確保するため、プロジェクト固有の特徴（例：著者、ファイルパス）を回避している。
• 正解ラベルを用いた評価と、専門家レビューによる手動によるアドバイザリによる検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 コミットレベルのメタデータとコード変更のみを用いて、共同学習アプローチがセキュリティパッチを効果的に特定できるか？
• RQ2 最先端の手法と比較して、精度と再現率の観点で、このモデルの性能はどの程度か？
• RQ3 以前にラベルが付けられていなかった（すなわち「静黙的」な修正であった）セキュリティパッチを検出できるか？
• RQ4 情報量が多い特徴量（例：メモリリークの修正、配列インデックスの変更）は、ラベル付きパッチの手動レビューに有用な手がかりを提供するか？
• RQ5 現実のソフトウェアリポジトリにおけるラベルの不足やクラス不均衡の問題に対し、モデルの頑健性はどの程度か？

主な発見

• 共同学習モデルは、セキュリティパッチの特定において95%の精度と88%の再現率を達成し、既存の手法を著しく上回った。
• この手法により、公開の脆弱性データベースに記載のない10件の以前にラベルが付けられていなかったセキュリティパッチを効果的に検出できた。
• 手動によるアドバイザリの結果、上位ランクのラベル付きパッチの55%が専門家レビューの観点から有用であると評価され、実用的価値が明確になった。
• 情報量が多い特徴量（例：メモリリークの修正、配列インデックスの変更）は、手動レビューのための意味のあるシグナルを提供した。
• 限られたラベル付きデータでも高い性能を示したため、低リソース環境における共同学習の有効性が裏付けられた。
• プロジェクト間での一般化性が確認された。プロジェクト固有の特徴を排除し、普遍的なコードおよびテキストパターンに依存しているためである。