[論文レビュー] Detecting Security-Relevant Methods using Multi-label Machine Learning

Oshando Johnson, Goran Piskachev+2 more|arXiv (Cornell University)|Jan 1, 2024

Network Security and Intrusion Detection被引用数 1

ひとこと要約

本論文では、マルチラベル機械学習を用いてラベル相関をモデル化することで、バイナリリレバンス手法よりも精度を向上させるJavaプログラムにおけるセキュリティ関連メソッド（SRM）を検出するIntelliJ IDEAプラグイン、Dev-Assistを提示する。このプラグインはSAST設定を自動生成し、静的解析を実行し、IDE内に結果を表示することで、手作業の作業を50%削減し、先行手法よりも高い平均F1スコアを達成する。

ABSTRACT

To detect security vulnerabilities, static analysis tools need to be configured with security-relevant methods. Current approaches can automatically identify such methods using binary relevance machine learning approaches. However, they ignore dependencies among security-relevant methods, over-generalize and perform poorly in practice. Additionally, users have to nevertheless manually configure static analysis tools using the detected methods. Based on feedback from users and our observations, the excessive manual steps can often be tedious, error-prone and counter-intuitive. In this paper, we present Dev-Assist, an IntelliJ IDEA plugin that detects security-relevant methods using a multi-label machine learning approach that considers dependencies among labels. The plugin can automatically generate configurations for static analysis tools, run the static analysis, and show the results in IntelliJ IDEA. Our experiments reveal that Dev-Assist's machine learning approach has a higher F1-Measure than related approaches. Moreover, the plugin reduces and simplifies the manual effort required when configuring and using static analysis tools.

研究の動機と目的

• 既存のバイナリリレバンス機械学習手法における制限を解消するため、ラベル相関を無視し、一般化性能が低いセキュリティ関連メソッド（SRM）の検出を改善すること。
• 静的解析ツール（SAST）の手作業でミスをしやすい設定を、SRM検出と仕様生成の自動化によって簡素化すること。
• IntelliJ IDEA環境内にエンドツーエンドの脆弱性検出を統合し、開発者の作業フローと結果の解釈性を向上させること。
• SWAN や SWAN-Assist といった最先端の手法と比較して、SRM分類における精度とF1スコアを向上させること。

提案手法

• SRMラベル（例：ソース、シンク、サニタイザー、CWEタイプ）間の依存関係を捉えるマルチラベル機械学習モデルを採用し、それらを独立に扱うのではなく、相関を考慮する。
• メソッドシグネチャーや構造的コード特徴量を入力特徴量として使用し、Javaコードの意味的情報を活用してモデルを学習する。
• 開発中にリアルタイムにSRMを検出できるように、IntelliJ IDEA用のプラグインを実装する。
• 検出されたSRMからSAST互換の仕様（例：fluentTQL）を自動生成し、QodanaやSecuCheckと統合して静的解析を実行する。
• SRMのエクスポート、SASTの設定、解析の実行、結果の解釈といった複数の手作業ステップを、ワンクリックワークフローに統合する。
• 交差検証とランダムサンプルの手動検証を用いてモデルのパフォーマンスを評価し、CWEカテゴリごとの精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル機械学習アプローチは、Javaにおけるセキュリティ関連メソッドの検出において、バイナリリレバンス手法を上回るか？
• RQ2 プラグインは、実際のSASTツールの設定と使用に要する手作業の負担を軽減できるか？
• RQ3 ラベル相関をモデル化することで、SRM検出における精度とF1スコアはどの程度向上するか？
• RQ4 IDE内での自動設定生成と結果統合は、脆弱性検出においてどの程度有効であるか？

主な発見

• Dev-Assistのマルチラベルアプローチは、バイナリリレバンス手法よりも高いF1スコアを達成し、より良い一般化性能とラベル相関のモデル化を示した。
• SRMラベル全体の平均精度は0.72であり、CWE862/CWE863が最高の0.95を記録した。
• ランダムサンプル検証においてCWE89の精度は0.35であったが、Dev-Assistはandroid.database.sqlite.SQLiteDatabase内の74のシンクおよびCWE89メソッドを正しくラベル付けし、実際の運用でSWAN-Assistを上回った。
• プラグインの導入により、SAST設定および解析に要する手作業の手順数と推定所要時間は50%削減され、実世界の評価では25分から12.5分に短縮された。
• 結果がIntelliJ IDEA内に直接表示されたため、外部のSARIFファイル解析と比較して、結果の解釈と検証に要する時間と作業負荷が削減された。
• AndroidのSQLiteクラス内で正しくラベル付けされた74のCWE89メソッドの80%以上は、SWAN-Assistではセキュリティ関連として分類されていなかったため、精度の向上が示された。