[論文レビュー] Robust Machine Learning for Encrypted Traffic Classification

Amit Dvir, Yehonatan Zion+4 more|arXiv (Cornell University)|Mar 15, 2016

Internet Traffic Analysis and Secure E-voting参考文献 67被引用数 5

ひとこと要約

本稿では、暗号化HTTPSトラフィックの被動分析に対抗するための耐障害性のある機械学習フレームワークを提案する。このフレームワークは、攻撃者による妨害対策にもかかわらず、ユーザーのOS、ブラウザ、アプリケーションを識別できる。SSL/TLSハンドシェイク行動とブラウザトラフィックバーストからの新規特徴量を活用することで、96.06%の正確性を達成し、プロトコルの変更（暗号スイートの変更時94%）やネットワークの難読化（VPN使用時83%）に対しても高い耐性を示す。また、最小限のトレーニングデータや短いセッション時間でも有効である。

ABSTRACT

Desktops and laptops can be maliciously exploited to violate privacy. In this paper, we consider the daily battle between the passive attacker who is targeting a specific user against a user that may be adversarial opponent. In this scenario, while the attacker tries to choose the best vector attack by surreptitiously monitoring the victims encrypted network traffic in order to identify users parameters such as the Operating System (OS), browser and apps. The user may use tools such as a Virtual Private Network (VPN) or even change protocols parameters to protect his/her privacy. We provide a large dataset of more than 20,000 examples for this task. We run a comprehensive set of experiments, that achieves high (above 85) classification accuracy, robustness and resilience to changes of features as a function of different network conditions at test time. We also show the effect of a small training set on the accuracy.

研究の動機と目的

• エンドツーエンド暗号化が導入されても、暗号化HTTPSトラフィックに対する被動的トラフィック分析の脅威が増大する状況に対処すること。
• ユーザーが検出を回避するために意図的に行動しても、暗号化トラフィックからOS、ブラウザ、アプリケーションを信頼性高く同定できる機械学習システムを開発すること。
• テスト中にVPNの使用や暗号スイートの変更といった、悪意ある行動に対する耐性を評価すること。
• 限られたトレーニングデータや短いセッション時間といった現実的な制約下でのパフォーマンスを評価すること。
• 脅威インテリジェンスやプライバシー分析に実用的かつリアルタイムに適用可能な分類システムを提供すること。

提案手法

• システムはSSL/TLSハンドシェイクパターンとアプリケーションレベルのトラフィックバーストから、到着間隔のタイミングとパケットサイズの分布に注目した新規特徴量を抽出する。
• 大規模かつ自動ラベル付けされた20,633件の暗号化トラフィックセッションを用いて、KNN、RBFカーネルを用いたSVM、ランダムフォレストといった教師あり機械学習分類器をトレーニングする。
• 特徴量には、パケット間隔のピーク検出、トラフィックバーストの統計的要約、一般的なプロトコルレベルの統計が含まれる。
• フレームワークは攻撃的状況下で評価される：ユーザーがテスト中に暗号スイートを変更したりVPNを使用したりするが、モデルは通常設定でトレーニングされている。
• トレーニングプロセスでは、人的ラベル付けの負担を軽減するために自動ラベル付けを採用し、モデルは徐々に短いセッションウィンドウ（1秒から10分）でテストされる。
• 耐性は、プロトコルの変更やデータの削減に伴う正確性の低下を測定することで評価され、複数の分類器を用いてパフォーマンスが測定される。

実験結果

リサーチクエスチョン

• RQ1 強力な暗号化が施された状況下でも、機械学習がユーザーのOS、ブラウザ、アプリケーションを暗号化HTTPSトラフィックから正確に分類できるか？
• RQ2 ユーザーがVPNや暗号スイートの変更といったツールを用いて検出を回避しようとした場合、このシステムのパフォーマンスはどの程度か？
• RQ3 限られたトレーニングデータや短いセッション時間は、分類正確性にどのような影響を及えるか？
• RQ4 SSL/TLS行動とトラフィックバーストネスから導出された新規特徴量は、分類の耐障害性をどのように向上させるか？
• RQ5 推論時における悪意ある操作に対しても、このシステムはどの程度高い正確性を維持できるか？

主な発見

• 提案されたシステムは、SSL/TLSハンドシェイクとトラフィックバーストパターンからの新規特徴量を活用し、ユーザーのOS、ブラウザ、アプリケーションを96.06%の正確性で同定できる。
• テスト中にユーザーが暗号スイートを変更した場合（一般的な妨害対策）、システムの正確性は94%を維持し、プロトコルレベルの難読化に対しても強い耐性を示す。
• VPNを使用したテスト時、正確性は83%に低下するが、依然として有効であるため、ネットワークレベルの難読化が分類器を完全に無効にしないことが示された。
• トレーニングデータが500件（全データの2.4%）にまで減少しても、正確性は85%に達するため、小規模データセットからの良好な一般化が可能である。
• セッション時間が1秒という短さでも性能にほとんど影響がなく、10秒セッションでは正確性が94%近くを維持し、1秒セッションと同等の性能を示す。これにより、リアルタイムでの導入が可能である。
• 全分類器においてテスト時間は1秒未満であり、リアルタイムのネットワーク監視および導入の可能性を裏付けた。