[論文レビュー] CryptoGuard: High Precision Detection of Cryptographic Vulnerabilities in Massive-sized Java Projects

Sazzadur Rahaman, Ya Xiao+7 more|arXiv (Cornell University)|Jun 18, 2018

Advanced Malware Detection Techniques参考文献 58被引用数 22

ひとこと要約

CryptoGuard は、大規模な Java プロジェクトにおいて、最小限の誤検出で暗号脆弱性を検出する高精度な静的解析ツールである。言語固有の、フロー・コンテキスト・フィールドに依存するスライシングを用い、誤検出率を 76–80% 減少させ、手動で分析した 1,295 件のアラートに対して 98.61% の精度を達成した。この結果、Apache Spark や Android アプリなど実世界のプロジェクトへの導入が可能になった。

ABSTRACT

Cryptographic API misuses, such as exposed secrets, predictable random numbers, and vulnerable certificate verification, seriously threaten software security. The vision of automatically screening cryptographic API calls in massive-sized (e.g., millions of LoC) Java programs is not new. However, hindered by the practical difficulty of reducing false positives without compromising analysis quality, this goal has not been accomplished. State-of-the-art crypto API screening solutions are not designed to operate on a large scale. Our technical innovation is a set of fast and highly accurate slicing algorithms. Our algorithms refine program slices by identifying language-specific irrelevant elements. The refinements reduce false alerts by 76% to 80% in our experiments. Running our tool, CrytoGuard, on 46 high-impact large-scale Apache projects and 6,181 Android apps generate many security insights. Our findings helped multiple popular Apache projects to harden their code, including Spark, Ranger, and Ofbiz. We also have made substantial progress towards the science of analysis in this space, including: i) manually analyzing 1,295 Apache alerts and confirming 1,277 true positives (98.61% precision), ii) creating a benchmark with 38-unit basic cases and 74-unit advanced cases, iii) performing an in-depth comparison with leading solutions including CrySL, SpotBugs, and Coverity. We are in the process of integrating CryptoGuard with the Software Assurance Marketplace (SWAMP).

研究の動機と目的

• 大規模な Java アプリケーションにおける暗号 API の誤用を静的解析する際の、高い誤検出率という重要な課題に対処すること。
• 高い精度と低い誤アラート率を実現することで、開発者が静的解析を日常的・実用的に使用できるようにすること。
• Apache プロジェクトや Android アプリなど、数百万行のコードを含む巨大なコードベースを対象としたスケーラブルなソリューションの開発。
• 効果性を検証するため、CrySL や SpotBugs、Coverity といった先端的なツールと比較するベンチマークを提供すること。
• 実世界での導入と採用を支援するため、ソフトウェア保証プラットフォーム（SWAMP）への統合を実現すること。

提案手法

• フローやコンテキスト、フィールドに依存するスライシングを統合した、新しいスライシングフレームワークの設計および実装により、データフロー解析の精度を向上させること。
• 不要なプログラム要素（例：管理用定数）が誤検出を引き起こすのを防ぐために、言語固有のコンテキストの微調整を導入すること。
• 大規模なコードベースでも高精度を維持しつつ、パフォーマンスを最適化するため、オンデマンドスライシングを適用すること。
• 暴露されたシークレット、予測可能な乱数、不適切な証明書検証といった、一般的な暗号の誤用を静的解析で検出すること。
• 検出ルールとツールの正確性を評価するため、38 個の基本的および 74 個の高度なケースを含む包括的なベンチマークを構築すること。
• CrySL、SpotBugs、Coverity とのクロストール比較を通じて、性能と正確性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 数百万行のコードを含む巨大な Java プロジェクトにスケーリング可能な静的解析ツールは、誤検出率が低く、高い精度を達成できるか？
• RQ2 言語固有のコンテキストの微調整は、暗号 API の誤用検出における誤検出率をどの程度低減できるか？
• RQ3 スライシングに基づく解析は、ハードコードされたシークレットや予測可能な IV といった単純なパターンを超えた、複雑な暗号脆弱性をどの程度検出できるか？
• RQ4 実世界のコードベースにおいて、CrySL や SpotBugs、Coverity といった既存のツールと比較して、CryptoGuard の正確性と再現率はどの程度か？
• RQ5 スケーラブルで高精度な検出システムは、SWAMP のようなソフトウェア保証パイプラインに統合可能で、本番環境での使用に適しているか？

主な発見

• CryptoGuard は、プログラムスライシングにおける言語固有のコンテキストの微調整により、誤検出率を 76–80% 減少させた。
• 手動で分析した 1,295 件のアラートのうち 1,277 件が真陽性と確認され、98.61% の精度率を達成した。
• 46 件の高影響度 Apache プロジェクトおよび 6,181 個の Android アプリで 1,277 件の真陽性を検出。Spark や Ranger、Ofbiz などのプロジェクトでセキュリティ強化が実現した。
• CryptoLint、CrySL、MalloDroid の合計カバレッジを上回るルールカバレッジを実現し、不適切な証明書検証のような複雑な誤用シナリオもカバーした。
• ベンチマークに 38 個の基本的および 74 個の高度なテストケースを含むことにより、精度とスケーラビリティの面で先端的なソリューションを上回った。
• Software Assurance Marketplace (SWAMP) への統合が進行中であり、セキュアなソフトウェア開発パイプラインにおける実世界での導入に向けた準備が整っている。