[論文レビュー] Detecting Flow Anomalies in Distributed Systems

Freddy Chong Tat Chua, Ee‐Peng Lim+1 more|arXiv (Cornell University)|Jan 1, 2014

Network Security and Intrusion Detection被引用数 1

ひとこと要約

本稿では、エントリーフローからの粗い時刻データのみを用いて、分散システムにおけるフローアノマリーを検出・局所化する非侵襲的でエッジベースのネットワーク伝送モデルを提案する。予想される移動時間を推定し、顕著なずれを特定することで、標準偏差に基づくアプローチを上回るアノマリー位置のランク付けを実現し、公共交通機関のデータを用いて検証され、サービス障害に関するソーシャルメディアレポートとも相関している。

ABSTRACT

Deep within the networks of distributed systems, one often finds anomalies that affect their efficiency and performance. These anomalies are difficult to detect because the distributed systems may not have sufficient sensors to monitor the flow of traffic within the interconnected nodes of the networks. Without early detection and making corrections, these anomalies may aggravate over time and could possibly cause disastrous outcomes in the system in the unforeseeable future. Using only coarse-grained information from the two end points of network flows, we propose a network transmission model and a localization algorithm, to detect the location of anomalies and rank them using a proposed metric within distributed systems. We evaluate our approach on passengers' records of an urbanized city's public transportation system and correlate our findings with passengers' postings on social media microblogs. Our experiments show that the metric derived using our localization algorithm gives a better ranking of anomalies as compared to standard deviation measures from statistical models. Our case studies also demonstrate that transportation events reported in social media microblogs matches the locations of our detect anomalies, suggesting that our algorithm performs well in locating the anomalies within distributed systems.

研究の動機と目的

• 内部センサー情報がなくとも、即時の障害を引き起こさないが性能を低下させる非深刻なアノマリーを検出すること。
• 出発および到着ノードからの粗い時刻データのみが利用可能な状況で、フローアノマリーの原因を局所化すること。
• 予想されるフロータイムを推定し、期待値から著しく逸脱するセグメントを特定するモデルを開発すること。
• 実世界の公共交通機関データおよびソーシャルメディアレポートを用いて、アノマリー検出および局所化アプローチを検証すること。
• ソーシャルメディアのマイクロブログが、検出されたアノマリーを検証するためのグランドトゥルースとして機能できることを示すこと。

提案手法

• エンティティフロー記録からの空間的・時間的・コスト的データを用いて、アノマリー検出問題を形式化する。
• 観測された開始時刻および終了時刻に基づき、予想されるフロータイムを推定するエッジベースのネットワーク伝送モデルを構築する。
• 時間的ずれが著しい記録に関連するセグメントを、そのずれの大きさに基づいてランク付けする局所化アルゴリズムを適用する。
• 「含む」と「内包する」関係性メトリクスを用い、アノマリーと強く関連する記録を特定し、パスが短く接続性の高いものを優先する。
• 関係性カウントの計算コストを削減するため、推移性に基づく最適化を採用する。
• ピーク時および非ピーク時の交通パターンを反映させるために、エッジ速度をガウス混合モデルでモデル化し、精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 内部センサー情報がなくとも、開始時刻および終了時刻のデータのみを用いて、分散システムにおけるフローアノマリーを検出可能か？
• RQ2 詳細なパスおよびセグメントレベルのデータが入手できない状況で、アノマリーの位置をどのように局所化できるか？
• RQ3 提案手法は、標準偏差のような標準統計的手法よりも、アノマリー位置のランク付けにおいて優れているか？
• RQ4 ソーシャルメディアにおけるサービス障害報告と、アルゴリズムが検出したアノマリーとの相関度はどの程度か？
• RQ5 パス知識が不完全であっても、モデルが予想されるフロータイムを推定し、逸脱を検出できるか？

主な発見

• 提案された局所化アルゴリズムは、標準偏差に基づく統計モデルよりも、アノマリーのランク付けが優れている。
• 記録の時間的ずれが大きく、関係性の強い接続性を持つものであっても、粗い時刻データしか入手できない状況でも、顕著なフローカーブのずれを示すセグメントを効果的に特定できる。
• 著しいずれと高い関係性を持つ記録は、ネットワーク内での実際のアノマリー発生位置を示す可能性が高くなる。
• 「MRT故障」などの公共交通機関の障害に関するソーシャルメディアのマイクロブログは、検出されたアノマリーの位置と一致し、外部からの検証を提供している。
• 特にピーク時刻に、検出されたアノマリーとリアルタイムの乗客クレームの間に強い相関が確認された。
• エッジ速度にガウス混合分布を用いてピーク時・非ピーク時の交通パターンを組み込むことで、モデルの性能が向上した。