[논문 리뷰] Big Data Is a New Paradigm

Bin Jiang|arXiv (Cornell University)|2015. 01. 01.

Human Mobility and Location-Based Analysis참고 문헌 11인용 수 4

한 줄 요약

이 논문은 대용량 데이터가 기존의 소용량 데이터와는 다를 바 있는 범주 전환을 나타낸다고 제안하며, 완전성, 개인 수준의 측정, 하향식 분포의 특성을 강조한다. 자발적 지리정보(VGI)와 야간 조명 데이터를 활용하여, 머리/꼬리 분할과 분수기하학을 통해 정의된 자연도시가 전 세계적으로 자가유사성을 보이며 지프의 법칙을 따름을 입증함으로써, 대용량 데이터 분석을 통해 도시 구조에 대한 새로운 통찰을 제시한다.

ABSTRACT

This paper is a first draft of the introduction to the special issue on volunteered geographic information published in Computers, Environment and Urban Systems (2015, 53, 1-122). In this short paper, I put georeferenced big data (hereafter, big data) such as tweets locations in comparison with small data such as census data in terms of data characteristics, and further argued that big data differs fundamentally from small data in terms of data analytics, both geometrially and statistically. I would like to thank my colleague Dr. Jean-Claude Thill, who expanded the draft towards a broader scope.

연구 동기 및 목표

• 대용량 데이터를 단순히 대량의 데이터로 보는 것이 아니라, 소용량 데이터와는 근본적으로 다른 전환적 범주로 재정의하고자 한다.
• 도시 및 지리 분석에서 전통적인 상향식, 집계된, 가우시안 기반 접근 방식의 한계를 해결하고자 한다.
• 대용량 데이터가 소용량 데이터에서는 보이지 않는 잠재적 패턴—예를 들어 자연도시—을 드러내는 데 기여할 수 있음을 입증하고자 한다.
• 이질적이고 꼬리가 무거운 대용량 데이터를 분석하는 데 있어 분수기하학과 파레토(구력 법칙)적 사고 방식을 기초로 삼아야 한다고 주장하고자 한다.

제안 방법

• 모든 트위터 위치를 기반으로 삼각형 불규칙 네트워크(TIN)를 구성하여 평균 대비 짧은 간선을 기준으로 자연도시를 식별한다.
• 머리/꼬리 분할을 통해 데이터를 반복적으로 머리(큰 군집)와 꼬리(작은 요소)로 분류함으로써 자가유사한 구조를 드러낸다.
• 야간 조명 영상 데이터를 처리할 때 각 픽셀을 거대한 군중의 데이터 포인트로 간주하고, 전 세계 평균 밝기를 기준선으로 삼아 자연도시의 경계를 설정한다.
• 지리적 이질성과 스케일링 패턴을 모델링하기 위해 분수기하학과 구력 법칙 통계(Paretian thinking)를 활용한다.
• 도시 크기와 도시 수가 전 세계 규모에서 지프의 법칙을 따름을 보여줌으로써 결과를 검증한다.
• 상향식 행정구역 도시와 대용량 데이터에서 유도된 하향식 자연도시를 비교함으로써 범주적 차이를 부각한다.

실험 결과

연구 질문

• RQ1 대용량 데이터는 데이터 특성과 분석 범주 측면에서 소용량 데이터와 근본적으로 어떻게 다를까?
• RQ2 소셜미디어와 야간 조명과 같은 대용량 데이터 소스로부터 자연도시를 신뢰성 있게 식별할 수 있으며, 공식 도시 경계와 비교해 볼 때 어떤 특징을 갖는가?
• RQ3 분수기하학과 구력 법칙 통계는 대용량 데이터 내 이질적인 지리적 특징을 분석하는 데 어떤 역할을 하는가?
• RQ4 왜 전통적인 가우시안 기반 방법은 대용량 데이터를 사용할 때 도시 시스템의 진정한 구조를 포착하지 못하는가?
• RQ5 머리/꼬리 분할 방법은 대용량 데이터 내 자가유사적, 스케일 프리 패턴을 어떻게 드러내는가?

주요 결과

• TIN 기반 간선 분석을 통해 트위터 위치에서 유도된 자연도시는 강한 자가유사성을 보이며 분수기하학과 일치한다.
• 자연도시의 전 세계 분포는 지프의 법칙을 따르며, 도시 크기와 도시 수가 모두 순위의 역비례 관계를 보인다.
• 전 세계 평균 밝기를 임계값으로 삼아 머리/꼬리 분할을 적용한 야간 조명 데이터는 자연도시를 성공적으로 식별하며, 이 역시 지프의 법칙을 따르는 것으로 나타났다.
• 머리/꼬리 분할 방법은 반복적으로 머리(지배적 군집)를 분리함으로써 꼬리가 두꺼운 분포를 효과적으로 분류하고 자가유사 패턴을 드러낸다.
• 대용량 데이터를 통해 집계 및 표본 추출로 인해 소용량 데이터에서는 가려졌던, 잠재적이고 대규모의 도시 패턴—예를 들어 도시의 글로벌 스케일링—을 탐지할 수 있다.
• 소용량 데이터(상향식, 중심집중형, 가우시안 기반)에서 대용량 데이터(하향식, 분산형, 구력 법칙 기반)로의 범주 전환은 도시 시스템과 지리적 형태를 이해하는 방식을 근본적으로 변화시킨다.