[논문 리뷰] Data Polygamy: The Many-Many Relationships among Urban Spatio-Temporal Data Sets

Fernando Chirigati, Harish Doraiswamy외 2명|Warwick Research Archive Portal (University of Warwick)|2016. 10. 21.

Data Management and Algorithms참고 문헌 34인용 수 33

한 줄 요약

이 논문은 다중 해상도 공간 및 시간 패턴을 분석하여 도시 공간 시간 데이터 세트 간 통계적으로 유의미한 다对다 관계를 발견하는 확장 가능한 위상 기반 프레임워크인 Data Polygamy를 제안한다. 300개 이상의 도시 데이터 세트에서 평가된 결과, 택시 운행과 눈비의 음성 상관관계 또는 Citi Bike 이용과 악천후 간의 비자명한 관계와 같은 의미 있는 관계를 성공적으로 파악하였으며, 실제 도시 데이터 분석에서의 확장성과 효과성을 입증하였다.

ABSTRACT

The increasing ability to collect data from urban environments, coupled with a push towards openness by governments, has resulted in the availability of numerous spatio-temporal data sets covering diverse aspects of a city. Discovering relationships between these data sets can produce new insights by enabling domain experts to not only test but also generate hypotheses. However, discovering these relationships is difficult. First, a relationship between two data sets may occur only at certain locations and/or time periods. Second, the sheer number and size of the data sets, coupled with the diverse spatial and temporal scales at which the data is available, presents computational challenges on all fronts, from indexing and querying to analyzing them. Finally, it is non-trivial to differentiate between meaningful and spurious relationships. To address these challenges, we propose Data Polygamy, a scalable topology-based framework that allows users to query for statistically significant relationships between spatio-temporal data sets. We have performed an experimental evaluation using over 300 spatial-temporal urban data sets which shows that our approach is scalable and effective at identifying interesting relationships.

연구 동기 및 목표

• 대규모이고 이질적인 도시 공간 시간 데이터 세트 간 의미 있는 비자명한 관계를 발견하는 데 도전한다.
• 특정 공간 시간 해상도 또는 드문 조건(예: 극심한 날씨)에서만 나타나는 관계를 탐지하는 데 어려움을 극복한다.
• 다양한 데이터 소스 간 통계적으로 유의미한 연관성을 식별함으로써 도메인 전문가가 가설을 생성하고 검증할 수 있도록 한다.
• 다양한 공간 및 시간 해상도를 가진 수백 개의 데이터 세트 간 관계의 조합 복잡성을 처리할 수 있는 확장 가능한 솔루션을 제공한다.

제안 방법

• 비균일하고 局소적인 상관관계를 탐지하기 위해 다중 공간 및 시간 해상도에서 관계를 모델링하는 위상 기반 프레임워크를 사용한다.
• 다양한 해상도에서 관계의 통계적 유의미성을 평가하기 위해 순위 기반 상관계수 측정법(예: 켄달의 타우)을 사용한다.
• 시간 해상도로는 시간, 일, 주, 월과 같은 단위와 공간 해상도로는 도시, 이웃, 우편번호 수준을 포함한 다중 해상도 분석을 적용한다.
• 점수 및 강도 지표를 사용한 강건성 평가를 통해 허위 또는 불안정한 관계를 걸러낸다.
• 사용자가 주어진 데이터 세트와 통계적으로 유의미한 동시 발생 패턴을 통해 관련된 모든 데이터 세트를 탐색할 수 있는 쿼리 인터페이스를 통합한다.
• 일반적인 추세가 아닌 특정 조건(예: 강풍 또는 눈비)에서만 나타나는 관계를 우선순위로 한다.

실험 결과

연구 질문

• RQ1 특정 공간 시간 조건에서만 나타나는 통계적으로 유의미한 도시 공간 시간 데이터 세트 간 관계를 체계적으로 발견할 수 있는 방법은 무엇인가?
• RQ2 공간 및 시간 해상도를 다양하게 조절할 경우, 도시 환경에서 의미 있는 데이터 관계 탐지에 어떤 영향을 미치는가?
• RQ3 대규모이고 이질적인 도시 데이터 컬렉션에서 의미 있는 관계와 허위 관계를 어떻게 구분할 수 있는가?
• RQ4 확장 가능한 프레임워크는 기상 사건과 교통 행동 간의 비자명한, 실질적인 관계를 다양한 도시 데이터 세트 간에 식별할 수 있는가?
• RQ5 다양한 해상도에서 분석했을 때 실제 도시 데이터 컬렉션에서 도출되는 가장 정보적이고 강건한 관계는 무엇인가?

주요 결과

• 주, 도시 해상도에서 택시 운행 횟수와 평균 눈비 강도 사이에 음성 상관관계가 발견되었으며(τ = -0.87, ρ = 0.82), 눈비가 내릴수록 택시 이용이 감소함을 시사한다.
• 일, 도시 해상도에서 Citi Bikes의 고유한 수량이 평균 눈비 강도(τ = -1.0, ρ = 0.19) 및 강우량(τ = -0.62, ρ = 0.44)과 음성 상관관계를 보였으며, 기상 조건이 자전거 이용에 영향을 준다는 것을 시사한다.
• 월, 도시 해상도에서 평균 시야 범위와 교통 속도 사이에 강한 양성 상관관계가 발견되었으며(τ = 1.0, ρ = 0.14), 시야가 떨어질수록 차량 속도가 감소한다는 가설을 뒷받침한다.
• 월, 도시 해상도에서 고유한 택시 수량과 평균 가격 간에 음성 상관관계가 발견되었으며(τ = -1.0, ρ = 0.5), 다만 원인 메커니즘은 명확하지 않다.
• 주, 이웃 해상도에서 차량 사고 수와 택시 운행 횟수 사이에 거의 완벽한 양성 상관관계가 관찰되었으며(τ = 0.99, ρ = 0.25), 도시 혼잡도나 운전자 행동과의 연관성이 있을 수 있음을 시사한다.
• 주, 이웃 해상도에서 311 민원과 911 신고 사이에 유의미한 상관관계가 발견되었으며(τ = 1.0, ρ = 0.65), 비긴급 사건과 비상사고가 동시에 발생할 가능성이 있음을 시사한다.