[論文レビュー] Mining Network Events using Traceroute Empathy

Marco Di Bartolomeo, Valentino Di Donato+3 more|arXiv (Cornell University)|Dec 12, 2014

Anomaly Detection Techniques and Applications参考文献 24被引用数 3

ひとこと要約

本論文は、トポロジーに依存しない新規手法を提案し、トレーサーラウトの「共感」（複数のトレーサーラウト間で時間的挙動が類似するもの）を用いて、ルーティング変更や障害などのネットワークイベントを検出・推定する。同期されたパスの進化に基づいてトレーサーラウトをクラスタリングすることで、最小限のIPセットを用いても高精度に影響を受ける要因を特定し、実際のRIPE Atlasデータにおいてほぼリアルタイムでの検出と真値との整合性を示した。

ABSTRACT

In the never-ending quest for tools that enable an ISP to smooth troubleshooting and improve awareness of network behavior, very much effort has been devoted in the collection of data by active and passive measurement at the data plane and at the control plane level. Exploitation of collected data has been mostly focused on anomaly detection and on root-cause analysis. Our objective is somewhat in the middle. We consider traceroutes collected by a network of probes and aim at introducing a practically applicable methodology to quickly spot measurements that are related to high-impact events happened in the network. Such filtering process eases further in- depth human-based analysis, for example with visual tools which are effective only when handling a limited amount of data. We introduce the empathy relation between traceroutes as the cornerstone of our formal characterization of the traceroutes related to a network event. Based on this model, we describe an algorithm that finds traceroutes related to high-impact events in an arbitrary set of measurements. Evidence of the effectiveness of our approach is given by experimental results produced on real-world data.

研究の動機と目的

• 大規模かつ非同期なトレーサーラウトデータにおいて、事前のトポロジー知識やプローブの同期を必要とせずにネットワークイベントを検出・診断する課題に対処すること。
• 完全なトポロジー・モデルと同期測定に依存する既存手法（例：バイナリトモグラフィー）の制限を克服すること。
• 時間経過に伴い類似した挙動を示すトレーサーラウトのグループを検出することで、ネットワークイベントを特定するスケーラブルで頑健かつ証明可能に正しいアルゴリズムを開発すること。
• エンドツーエンド接続性が損なわれても個々のネットワーク要素が健全に見えるような状況においても、ルーティング変更や障害を早期に検出できること。
• 各推定イベントごとに影響を受ける観測ポイントと、最小限の候補IPアドレスのセットを報告することで、実行可能なインサイトを提供すること。

提案手法

• コアとなる概念は「共感」であり、パス構造の時間的進化が類似するトレーサーラウト同士の関係であり、同じネットワークイベントの影響を受けていることを示している。
• 非同期なトレーサーラウトデータを処理する際、パス構造の変化を検出し、時間的・構造的類似性に基づいてイベントにグループ化する。
• ロードバランサの影響によるパスの変動を低減するためのクリーニングヒューリスティックを適用し、誤検出を著しく低減し、イベント数を削減した。
• 変化の検出には遷移ベースのモデルを用い、複数の送信元-宛先ペア間で類似した遷移パターンをクラスタリングすることでイベントを推定する。
• 影響を受ける送信元-宛先ペアの数とイベントの持続時間に基づいて影響度を推定し、重要度の高いイベントに焦点を当てるためのしきい値フィルタリングを実施する。
• 測定誤差に強く、誤差は通常、低影響で孤立したイベントを生成するため、それらはフィルタリングされる。

実験結果

リサーチクエスチョン

• RQ1 事前のネットワークトポロジー知識がなく、非同期かつ非同期なトレーサーラウト測定のみを用いて、ルーティング変更や障害などのネットワークイベントを検出できるか？
• RQ2 どのようにして『共感的』なトレーサーラウト（時間経過に伴い類似した挙動を示すもの）を定義・検出できるか？
• RQ3 特に突然発生したイベントや意図的に誘発されたルーティングイベントにおいて、真値と比較して高い精度と迅速性を達成できるか？
• RQ4 複雑な事前処理を要せず、ロードバランシングや測定ノイズによる誤検出をどの程度低減できるか？
• RQ5 最小限の候補IPアドレスのセットを特定することで、アルゴリズムがイベントの根本原因を正確に特定できるか？

主な発見

• 15日間のヨーロッパISPのデータセットにおいて、199件の顕著なイベントが検出され、影響を受けるのは838件の異なる送信元-宛先ペアであり、わずか7つの候補IPアドレスを用いても原因を正確に特定した。
• 自然発生的障害実験では、影響度が550を超えるイベントが事故発生後24時間以内に検出され、ISPによって後で確認されたように、ルーティング障害であると正しく同定された。
• ロードバランサクリーニングヒューリスティックの適用により、遷移数が3分の1に、推定イベント数が20分の1にまで減少し、信号対雑音比が著しく向上した。
• 非公式なバックアップピアリングリンクが検出され、後にISPによって確認された。これは、隠れたネットワーク構成を同定できる能力を示している。
• イベントの時間窓は非常に正確で、持続時間は1秒から10時間の範囲にあり、標準偏差は30分であった。これは、非同期なトレーサーラウト収集に起因する。
• アルゴリズムはほぼリアルタイムでの検出を達成し、伝搬遅延の後にすぐにイベントが特定された。また、測定ノイズに対しても頑健であり、ノイズは低影響で孤立したイベントしか生成しなかった。