[논문 리뷰] Crowdsourced Network Measurements in Germany: Mobile Internet Experience from End User Perspective

Anika Schwind, Florian Wamser외 4명|arXiv (Cornell University)|2020. 03. 26.

Green IT and Sustainability참고 문헌 12인용 수 4

한 줄 요약

이 논문은 2019년 1월에서 7월 사이에 수집된 250만 건 이상의 스루풋 테스트를 기반으로 독일 전역의 모바일 인터넷 품질을 공동 측정 데이터를 활용해 평가한다. 평균 다운로드 속도에서 뚜렷한 지역적 격차가 드러나며, 헤이델베르크는 18.1 Mbps로 가장 높고, 자르란드는 12.3 Mbps로 가장 낮다. 이는 도시의 크기와 인구 밀도가 더 높은 스루풋과 더 큰 변동성을 나타내며, 최종 사용자 경험(QoE) 향상을 위해 지역별로 맞춤화된 네트워크 평가가 필요하다는 점을 시사한다.

ABSTRACT

Collecting and analyzing meaningful data in mobile networks is the key to assessing network performance. Crowdsourced Network Measurements (CNMs) provide insights beyond the network layer and offer performance and other measurements at the application and user-level towards Quality of Experience (QoE). In this paper, the mobile Internet experience for Germany is evaluated with the help of crowdsourcing from the perspective of an end user. We statistically analyze a dataset with throughput measurements on the end device from Tutela Ltd., which covers more than 2.5 million throughput tests across Germany from January to July 2019. We give insights into this emerging methodology and highlight the benefits of this method. The paper contains statistics and conclusions for several large cities as well as regions in Germany compared to general statements for Germany, since individual measurements and averages often only imprecisely reflect the situation. The goal is to give a holistic view of the performance of the current mobile network in Germany. Reading this paper, it becomes evident that reliable statements about the quality of the mobile network for Germany depend on a large number of peculiarities in different regions with their own performance characteristics due to different network deployments and population numbers.

연구 동기 및 목표

• 공동 측정된 네트워크 측정 데이터를 활용해 독일 전역의 최종 사용자 모바일 대역폭 경험을 평가하기 위해.
• 집계 속도 지표를 넘어서 지역적 및 도시적 격차를 규명하기 위해.
• 인구 밀도와 도시 크기가 스루풋 변동성과 평균 속도에 미치는 영향을 평가하기 위해.
• 공동 측정 데이터가 네트워크 품질과 QoE에 대한 종합적이고 사용자 중심의 시각을 제공하는 가치를 입증하기 위해.
• 세분화된 실세계 데이터를 통해 네트워크 운영자와 규제 기관이 커버리지 및 성능 문제를 식별하는 데 기여하기 위해.

제안 방법

• 2019년 1월에서 7월 사이에 Tutela Ltd.가 수집한 250만 건 이상의 공동 측정 스루풋 테스트 데이터셋을 활용하였다.
• 스마트폰 애플리케이션을 통해 주기적으로 자동으로 속도 테스트를 수행하는 방식으로 데이터를 수집하였으며, 환경 센서 역할을 하였다.
• 16개 독일 주와 81개 대도시에서 평균 다운로드 및 업로드 스루풋, 표준편차, 변동계수를 분석하였다.
• 피어슨 상관계수를 활용한 통계적 방법을 적용하여 도시 크기, 인구, 네트워크 성능 지표 간의 관계를 분석하였다.
• 사용자 경험(QoE) 지표로 결과를 매핑하여 스트리밍 가능성 및 앱 사용성 기준과 같은 사용자 경험을 해석하였다.
• 3G와 4G 성능을 비교하여 스루풋, 지터(jitter), 지연(latency) 추세를 분석하였다.

실험 결과

연구 질문

• RQ1 다른 독일 주와 대도시 간에 모바일 인터넷 스루풋은 어떻게 변화하는가?
• RQ2 도시의 크기, 인구 밀도와 네트워크 성능 변동성 간의 관계는 어떠한가?
• RQ3 4G 배포 수준이 평균 스루풋과 사용자 QoE에 얼마나 상관되는가?
• RQ4 개별 사용자 측정치는 지역 평균과 어떻게 비교되며, 이는 데이터의 타당성과 해석에 어떤 함의를 갖는가?
• RQ5 독일 내 사용자의 어느 정도 비율이 고화질 영상 스트리밍이나 실시간 내비게이션과 같은 일반적인 애플리케이션에 부적합한 스루풋 수준을 경험하는가?

주요 결과

• 헤이델베르크는 독일 주 중에서 평균 다운로드 스루풋이 가장 높아 18.1 Mbps를 기록했고, 자르란드는 12.3 Mbps로 가장 낮았다.
• 대도시 중에서는 포츠담과 브라운슈바이크가 각각 21.3 Mbps와 20.1 Mbps로 평균 다운로드 속도가 가장 높았고, 루트링엔과 브레머하펜은 각각 10.8 Mbps와 10.9 Mbps로 가장 낮았다.
• 다운로드 스루풋의 표준편차는 드레스덴(15.8 Mbps)과 포츠담(15.4 Mbps)에서 가장 높았으며, 이는 대도시에서 성능 변동성이 더 크다는 것을 의미한다.
• 도시 크기와 평균 다운로드 스루풋 간에 유의미한 양의 상관관계(ρ = 0.33, p ≤ 0.01)를 발견하였고, 도시 크기와 스루풋 변동성 간에는 더 강한 상관관계(ρ = 0.40, p ≤ 0.01)를 관찰하였다.
• 높은 인구 밀도를 가진 도시에서는 스루풋 표준편차와 더 강한 상관관계(ρ = 0.32, p ≤ 0.01)를 보였으며, 이는 경제적 인centive가 인프라 업그레이드를 이끄는 것을 시사한다.
• 4G 스루풋 평균은 19.1 Mbps이며 변동계수는 73.4%로, 3G의 53.3%보다 유의미하게 높아 4G 네트워크에서 성능의 일관성 부족이 더 두드러진다.