[論文レビュー] A Study of Geolocation Databases

Yuval Shavitt, Noa Zilberman|arXiv (Cornell University)|May 31, 2010

Geographic Information Systems StudiesSocial Sciences参考文献 25被引用数 20

ひとこと要約

本稿は、ネットワーク構造および遅延測定に基づいてIPアドレスをポイント・オブ・プレイゼンス（PoP）にグループ化する新規手法を用い、商業的および学術的なIPジオロケーションデータベースの正確性を評価する。この手法により、高信頼性のジオロケーション検証が可能となる。研究では、広範な不正確性が明らかになった。特に、PoP内IPの最大40％が100km以内の範囲外にマッピングされている。これは、ジオロケーションデータベースを、たとえ相関関係が強くても、真の基準（ground truth）として信頼できないことを示している。

ABSTRACT

The geographical location of Internet IP addresses has an importance both for academic research and commercial applications. Thus, both commercial and academic databases and tools are available for mapping IP addresses to geographic locations. Evaluating the accuracy of these mapping services is complex since obtaining diverse large scale ground truth is very hard. In this work we evaluate mapping services using an algorithm that groups IP addresses to PoPs, based on structure and delay. This way we are able to group close to 100,000 IP addresses world wide into groups that are known to share a geo-location with high confidence. We provide insight into the strength and weaknesses of IP geolocation databases, and discuss their accuracy and encountered anomalies.

研究の動機と目的

• 広く使用されているが、検証のための信頼できる真の基準を欠く商業的および学術的なIPジオロケーションデータベースの正確性を評価すること。
• ネットワーク遅延およびトポロジーを用いた高信頼性の共位置IPアドレス同定手法を開発し、ジオロケーション評価のための間接的真の基準を可能にすること。
• 複数のデータベース間の乖離を調査し、大規模IPブロックに対してISP本店にデフォルトで割り当てるようなシステム的誤りを同定すること。
• Spotterなどの測定ベースのジオロケーションツールの性能を評価し、データベースベースのアプローチと比較すること。
• セキュリティ、研究、アプリケーション分野におけるジオロケーションデータの信頼性についての知見を提供すること。

提案手法

• ネットワーク遅延およびトポロジカル構造に基づくハイブリッドアルゴリズムを用い、非共位置IPの誤検出を最小限に抑えてIPアドレスをPoPにグループ化する。
• PoPグループ化を真の基準の代理として使用する：同じPoPに属する複数のIPが異なる場所にマッピングされている場合、データベースは一貫性がないと判断する。
• PoP内のすべてのIPがマッピングされる半径を計算することで、データベースの正確性を測定する。半径が小さいほど正確性が高い。
• 同じPoPセットに対して複数のデータベースを比較し、合意度を検出するとともに、外れ値を同定する。多数決を用いて、おそらく正しい場所を推定する。
• 測定ベースのジオロケーション（例：Spotter）を、地域および半径ごとの収束性と合意度の分析によって評価する。
• 特にヨーロッパとアメリカの間で性能に差が生じる理由を評価するため、地域ごとのパフォーマンス差を分析する。

実験結果

リサーチクエスチョン

• RQ1 PoPグループ化から導出された代理真の基準を用いて、商業的および学術的なIPジオロケーションデータベースの正確性はどの程度高いか？
• RQ2 ジオロケーションデータベース同士はどの程度一致するのか？また、何パーセントのIPアドレスが数千キロも離れた場所に誤ってマッピングされているのか？
• RQ3 測定ベースのジオロケーション（例：Spotter）の性能は、データベースベースのアプローチと比較してどうか？特に、地理的地域による差異は？
• RQ4 なぜ一部のデータベースは、大規模なIPブロックに対して一貫して同じデフォルト場所（例：ISP本店）を割り当てるのか？これは正確性にどのように影響するか？
• RQ5 外部の真の基準を必要とせずに、PoPベースのグループ化がジオロケーションデータベースの検証に信頼できる方法として機能するか？

主な発見

• Netacuityでは、同じPoP内に存在するIPの40％以上が100km半径の範囲外にマッピングされており、高額であるにもかかわらず顕著な不正確性を示している。
• アメリカでは、Spotterの40km半径での収束率は44％にとどまり、ヨーロッパの78％と比較して低かった。これはPlanetLabの観測ポイントの分布が不均一であるためである。
• データベース間の相関関係が強くても、100km半径において最大20％の測定で、誤差が誤解を招くほど大きなものであった。
• 多数決を適用した場合、Netacuityは正しい場所を識別する上でより一貫性を示したが、少数決は依然として誤った国や遠く離れた国を指していた。
• Spotterのような測定ベースのジオロケーションツールは、100km半径で80％以上の収束率を達成したが、測定ノイズの本質的特性上、PoPマッピングの唯一の方法としては不十分であった。
• 本研究では、ジオロケーションデータベースを真の基準として扱うことはできないと確認した。なぜなら、数千キロにわたる範囲および複数の国にわたるシステム的誤りを含んでいるからである。