[논문 리뷰] A Study of Geolocation Databases

Yuval Shavitt, Noa Zilberman|arXiv (Cornell University)|2010. 05. 31.

Geographic Information Systems StudiesSocial Sciences참고 문헌 25인용 수 20

한 줄 요약

이 논문은 네트워크 구조와 지연 측정치를 기반으로 IP 주소를 포인트 오브 프레즌스(PoPs)로 그룹화하는 새로운 방법을 사용하여 상용 및 학술 IP 지오로케이션 데이터베이스의 정확도를 평가한다. 이 방법은 높은 신뢰도로 지오로케이션 검증을 가능하게 한다. 연구 결과, 넓게 퍼져 있는 정확도 부족 현상이 드러났으며, 최대 40퍼센트의 PoP 내부 IP 주소가 100km 이내 외부 위치로 매핑되어 있음을 확인했다. 이는 지오로케이션 데이터베이스를 지상 진실로 신뢰할 수 없음을 시사하며, 결과가 매우 높은 상관관계를 보일지라도 마찬가지이다.

ABSTRACT

The geographical location of Internet IP addresses has an importance both for academic research and commercial applications. Thus, both commercial and academic databases and tools are available for mapping IP addresses to geographic locations. Evaluating the accuracy of these mapping services is complex since obtaining diverse large scale ground truth is very hard. In this work we evaluate mapping services using an algorithm that groups IP addresses to PoPs, based on structure and delay. This way we are able to group close to 100,000 IP addresses world wide into groups that are known to share a geo-location with high confidence. We provide insight into the strength and weaknesses of IP geolocation databases, and discuss their accuracy and encountered anomalies.

연구 동기 및 목표

• 사용이 널리 보급되어 있지만 검증을 위한 신뢰할 수 있는 지상 진실이 없는 상용 및 학술 IP 지오로케이션 데이터베이스의 정확도를 평가하는 것.
• 네트워크 지연과 구조를 이용해 공지된 IP 주소를 고신뢰도로 식별하는 방법을 개발하여 지오로케이션 평가를 위한 간접적 지상 진실을 가능하게 하는 것.
• 여러 데이터베이스 간의 불일치를 조사하고, 대규모 IP 블록에 대해 ISP 본사로의 기본 설정이 반복되는 체계적 오류를 밝혀내는 것.
• Spotter와 같은 측정 기반 지오로케이션 도구의 성능을 평가하고 데이터베이스 기반 접근법과 비교하는 것.
• 보안, 연구 및 애플리케이션 목적을 위한 지오로케이션 데이터의 신뢰성에 대한 통찰을 제공하는 것.

제안 방법

• 네트워크 지연과 토폴로지 구조를 기반으로 한 하이브리드 알고리즘을 사용해 IP 주소를 PoPs로 그룹화하여 비공지된 IP 주소에 대한 잘못된 진위를 최소화하는 것.
• PoP 그룹화를 지상 진실의 대체 수단으로 사용: 동일한 PoP에 속한 여러 IP 주소가 서로 다른 위치로 매핑되어 있으면 데이터베이스는 일관성이 없다고 판단한다.
• 모든 PoP 내 IP 주소가 매핑된 반경을 계산하여 데이터베이스 정확도를 측정하는 것—반경이 작을수록 정확도가 높다는 의미이다.
• 동일한 PoP 세트에 대해 여러 데이터베이스를 비교하여 공감대를 탐지하고 이질적인 결과를 식별하며, 다수결 투표를 통해 가장 가능성이 높은 정확한 위치를 유추하는 것.
• 측정 기반 지오로케이션(예: Spotter)의 성능을 분석하여 지역 및 반경에 따라 수렴성과 일치성을 평가하는 것.
• 특히 유럽과 미국 간의 지역 성능 차이를 분석하여 관측 지점 분포가 정확도에 미치는 영향을 평가하는 것.

실험 결과

연구 질문

• RQ1 PoP 그룹화에서 유도된 지상 진실의 대체 수단을 사용할 때, 상용 및 학술 IP 지오로케이션 데이터베이스의 정확도는 어느 정도인가?
• RQ2 지오로케이션 데이터베이스는 얼마나 서로 일치하는가? 그리고 수천 킬로미터 떨어진 위치로 잘못 매핑된 IP 주소 비율은 어느 정도인가?
• RQ3 측정 기반 지오로케이션(예: Spotter)의 성능은 지역에 따라 어떻게 다를까? 특히 다양한 지리적 지역에서 데이터베이스 기반 접근법과 비교해 볼 때 어떻게 되는가?
• RQ4 왜 일부 데이터베이스는 대규모 IP 블록에 대해 항상 동일한 기본 위치(예: ISP 본사)를 할당하는가? 이는 정확도에 어떤 영향을 미치는가?
• RQ5 지상 진실이 필요 없이 PoP 기반 그룹화가 지오로케이션 데이터베이스 검증에 신뢰할 수 있는 방법이 될 수 있는가?

주요 결과

• Netacuity는 PoP 내부의 40퍼센트 이상의 IP 주소를 100km 반경 외부로 매핑했으며, 이는 고비용임에도 불구하고 심각한 정확도 부족을 시사한다.
• 미국의 경우, PlanetLab 관측 지점의 분포가 불균형하여 Spotter의 40km 반경 수렴률은 44퍼센트에 불과했고, 유럽은 78퍼센트였다.
• 데이터베이스 간 강한 상관관계가 있었음에도 불구하고, 최대 20퍼센트의 측정치에서 100km 반경 내에서도 오류가 크거나 오해의 소지가 있는 결과를 보였다.
• 다수결 투표를 적용했을 때 Netacuity는 정확한 위치를 식별하는 데 더 높은 일관성을 보였지만, 소수결 투표는 여전히 잘못되거나 먼 국가로 향하는 결과를 보였다.
• Spotter와 같은 측정 기반 지오로케이션 도구는 100km 반경에서 80퍼센트 이상의 수렴률을 달성했지만, 측정 노이즈의 본질적 특성으로 인해 PoP 매핑의 유일한 방법으로서는 부적절했다.
• 이 연구는 지오로케이션 데이터베이스를 지상 진실로 간주할 수 없음을 확인했다. 이는 수천 킬로미터에 걸쳐 여러 국가를 아우르는 체계적 오류를 포함하고 있기 때문이다.