[論文レビュー] Using Neural Networks to improve classical Operating System Fingerprinting techniques

Carlos Sarraute, Javier Burroni|El Servicio de Difusión de la Creación Intelectual (National University of La Plata)|Jun 9, 2010

Digital Media Forensic Detection参考文献 5被引用数 13

ひとこと要約

本論文では、ニューラルネットワークを用いて、古典的手法のリモートオペレーティングシステムのファイガープリンティングを向上させることを提案している。OS検出を推論問題としてモデル化することで、従来の「ベストフィット」ヒューリスティクスに比べ、精度と耐障害性が向上する。本手法は、DCE-RPCエンドポイントとNmapシグネチャを用いてトレーニングされたマルチレイヤーパーセプトロンを用い、OSバージョンおよびエディションを分類する。その結果、特に細分化されたWindowsバージョンの区別において優れた性能を示し、古典的手法に比べ92％の不一致削減を達成した。

ABSTRACT

We present remote Operating System detection as an inference problem: given a set of observations (the target host responses to a set of tests), we want to infer the OS type which most probably generated these observations. Classical techniques used to perform this analysis present several limitations. To improve the analysis, we have developed tools using neural networks and Statistics tools. We present two working modules: one which uses DCE-RPC endpoints to distinguish Windows versions, and another which uses Nmap signatures to distinguish different version of Windows, Linux, Solaris, OpenBSD, FreeBSD and NetBSD systems. We explain the details of the topology and inner workings of the neural networks used, and the fine tuning of their parameters. Finally we show positive experimental results.

研究の動機と目的

• 古典的手法のOSファイガープリンティング技術の限界を克服すること。これらはヒューリスティックな「ベストフィット」アルゴリズムに依存しており、非標準的または複雑な状況では失敗する。
• ネットワーク応答における重要な特徴を特定することで、OS検出を構造的推論問題としてモデル化すること。
• ニューラルネットワークと統計的分析を活用し、低レベルのネットワーク行動から意味のあるパターンを抽出することで、検出精度と耐障害性を向上させること。
• 手動のルールベースの照合に依存するのを減らし、機械学習による特徴選択と分類の自動化を実現すること。

提案手法

• 3層のマルチレイヤーパーセプトロンを用いる。413個の入力ニューロンがDCE-RPC応答からのUUIDとエンドポイントを符号化し、42個の隠れ層ニューロンが特徴の組み合わせを学習し、25個の出力ニューロンが個別のOSバージョンおよびサービスパックを表す。
• 誤差の傾向に応じて学習率を動的に調整する、適応的学習率とモーメンタムを用いたバックプロパゲーションを用いてネットワークをトレーニングする。これにより収束が加速する。
• ラベル付きのOS応答データセットを用いて教師あり学習でトレーニングを行い、各エポックで入力順序をランダムにシャッフルすることでバイアスを回避する。
• 主成分分析と相関行列の簡略化を適用し、Nmapテスト応答における最も判別能の高い特徴を同定する。
• 実世界のホスト応答を用いて評価し、ニューラルネットワークの予測結果と古典的手法のNmapおよびDCE-RPCモジュールを比較する。
• トレーニング速度と安定性を向上させるための適応的学習率戦略を実装し、収束時間を14時間から400世代未満に短縮した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、ネットワーク応答に基づくOSバージョン分類において、古典的手法の「ベストフィット」アルゴリズムを上回ることができるか？
• RQ2 DCE-RPCエンドポイントやNmapシグネチャフィールドなどのネットワーク特徴のうち、OSファイガープリンティングに最も判別能の高いものは何か？
• RQ3 適応的学習率戦略は、OSファイガープリンティングにおけるトレーニング収束とモデル一般化にどのように寄与するか？
• RQ4 ニューラルネットワークアプローチは、ルールベースシステムに比べ、細分化されたOS差異（例：サービスパック、エディション）をより信頼性高く検出できるか？
• RQ5 ネットワーク応答の統計的分析は、最適なファイガープリンティングテストの選定をどの程度ガイドできるか？

主な発見

• ニューラルネットワークアプローチは、不一致数を92％削減し、古典的手法のNmapモジュールと比較して2件の不一致（対象は9件）にまで減少させ、顕著な精度向上を示した。
• ニューラルNmapモジュールは、Solaris 8を0.99999999999999789の信頼度スコアで正しく特定しており、ほぼ完璧な分類を示している。
• 適応的学習率戦略により、トレーニング時間は14時間から400世代未満に短縮され、収束が速く、誤差レベルも低くなった。
• システムは25種類の異なるWindowsバージョンおよびサービスパックを正常に区別でき、エディションとサービスパック用に独立した出力ニューロンを設けたことで、分類の粒度が向上した。
• 主成分分析により、特定のNmapテストフィールド（例：TCPウィンドウサイズ、TTL、DFビット）がOpenBSDバージョンの判別に顕著に寄与することが判明した。
• 本手法は、ハミング距離に依存するのではなく、複雑な特徴相互作用をモデル化することで、誤検出を低減し、特にWindowsシステムにおける微細なOS差異の検出を向上させた。