[논문 리뷰] Developing Security Reputation Metrics for Hosting Providers

Arman Noroozian, Maciej Korczyński외 2명|arXiv (Cornell University)|2016. 12. 12.

Spam and Phishing Detection참고 문헌 13인용 수 14

한 줄 요약

이 논문은 호스팅 제공업체의 보안 명성 지표를 개발하기 위한 체계적인 프레임워크를 제안하며, 제공업체 식별, 악성 사용 데이터 품질, 정규화, 집계 및 해석과 같은 핵심 방법론적 과제를 해결한다. 공격성 데이터 피드, IP 공간, 호스팅 도메인을 조합한 다중 소스, 다중 지표 접근 방식을 도입하여, 대안적 크기 추정치와 기준 순위 간에 높은 상관관계(r = 0.909)를 달성함으로써, 수사 기관 및 산업 이해관계자에게 신뢰할 수 있는 기준 설정이 가능하다.

ABSTRACT

Research into cybercrime often points to concentrations of abuse at certain hosting providers. The implication is that these providers are worse in terms of security; some are considered `bad' or even `bullet proof'. Remarkably little work exists on systematically comparing the security performance of providers. Existing metrics typically count instances of abuse and sometimes normalize these counts by taking into account the advertised address space of the provider. None of these attempts have worked through the serious methodological challenges that plague metric design. In this paper we present a systematic approach for metrics development and identify the main challenges: (i) identification of providers, (ii) abuse data coverage and quality, (iii) normalization, (iv) aggregation and (v) metric interpretation. We describe a pragmatic approach to deal with these challenges. In the process, we answer an urgent question posed to us by the Dutch police: `which are the worst providers in our jurisdiction?'. Notwithstanding their limitations, there is a clear need for security metrics for hosting providers in the fight against cybercrime.

연구 동기 및 목표

• 호스팅 제공업체 보안 성과 평가를 위한 체계적이고 경험적 근거가 부족한 지표의 부족을 해결하기 위해.
• 네덜란드 국립 고기능 범죄 수사국의 직접 요청에 따라 네덜란드 내에서 가장 열악한 성과를 보이는 호스팅 제공업체를 수사 기관이 식별할 수 있도록 지원하기 위해.
• 고객, 규제 기관, 제공업체에게 보안 성과를 신호하는 신뢰할 수 있고 투명한 지표를 제공함으로써 호스팅 분야의 정보 비대칭을 줄이기 위해.
• 데이터 기반의 명성 점수를 통해 벤치마킹을 가능하게 하고 보다 나은 보안 관행을 유도하기 위해.
• 단순한 악성 사용 수와 IP 공간 정규화에 의존하는 기존 지표들이 방법론적 한계를 해결하지 못하므로, 통합적이고 다각적인 접근 방식이 필요하다고 지적하기 위해.

제안 방법

• 공개 및 비공개 악성 사용 피드를 조합한 다중 소스 데이터 파이프라인을 사용하며, Farsight Security, StopBadware, PhishTank 및 기타 기관의 보고를 포함한다.
• 광고된 IP 공간, 웹 호스팅에 사용되는 IP 공간, 호스팅된 2차 도메인(2LD) 수를 활용한 하이브리드 크기 추정 방법을 적용하여 악성 사용 수를 정규화한다.
• 악성 사용 빈도, 크기 추정치, 데이터 소스의 포괄성 등을 통합한 복합 지표를 기반으로 기준 순위를 설정한다.
• 다양한 지표 사양 간의 일관성을 평가하기 위해 피어슨 상관계수(r)를 사용한다. 이는 IP 공간, 사용된 IP 공간, 2LD 수를 포함한다.
• 고유한 <2LD, IP> 쌍에 대한 기여도를 기반으로 데이터 소스에 가중치를 할당하여 가중치 기반 집계를 구현한다.
• 민감도 분 析 및 이해관계자 피드백을 통해 결과를 검증하며, AS 레벨 라우팅만을 사용하는 대신 WHOIS 데이터를 활용한 반복적인 제공업체 식별 개선을 수행한다.

실험 결과

연구 질문

• RQ1 제공업체 식별 및 데이터 커버리지의 과제에도 불구하고, 악성 사용 데이터를 어떻게 체계적으로 제공업체에 매핑할 수 있는가?
• RQ2 크기와 서비스 유형이 다른 제공업체 간에 악성 사용 수를 정규화하기 위한 가장 신뢰할 수 있는 방법은 무엇인가?
• RQ3 IP 공간, 사용된 IP 공간, 호스팅 도메인 등의 다양한 크기 추정 기법이 제공업체의 최종 명성 순위에 어떤 영향을 미치는가?
• RQ4 다른 지표 사양이 기준 순위와 얼마나 상관관계가 있으며, 이는 지표의 강건성에 어떤 함의를 갖는가?
• RQ5 보안 명성 지표는 어떻게 설계되어야 하며, 수사 기관이 실질적으로 활용할 수 있고 제공업체의 게이밍에 저항력이 있는가?

주요 결과

• 기준 순위와 웹 호스팅에 사용된 IP 주소를 기반으로 한 지표 간에 강한 상관관계(r = 0.909)를 보이며, 악성 사용이 많은 상위 제공업체를 일관되게 식별할 수 있음을 확인했다.
• 기준 순위와 2LD 기반 크기 추정치 간의 상관계수는 낮은 편(r = 0.6438)이었으며, 이는 도메인 수만으로는 제공업체 크기를 신뢰할 수 있는 대체 지표가 되지 못함을 시사한다.
• 기준 순위에서 상위 20개의 악성 ASN 중 오직 7개만이 모든 대안적 상위 20순위에 포함되어 있어, 크기 추정 방법에 따라 상당한 민감도가 있음을 보여준다.
• 데이터 소스의 포괄성에 기반한 가중치 기반 집계 방법은 기준 순위와 피어슨 상관계수 r = 0.791을 기록하여, 지표 융합에 있어 실용적임을 확인했다.
• 현재 IP 공간 또는 악성 사용 수에만 의존하는 지표들은 방법론적 결함으로 인해 부적절하며, 통합적이고 다각적인 접근이 필요하다고 지적한다.
• 이해관계자 피드백을 통해 제안된 지표가 수사, 자율 규제 및 산업 기준 설정을 위한 유효하고 실질적인 출발점으로 기능함을 확인했다.