[논문 리뷰] LibCity: A Unified Library Towards Efficient and Comprehensive Urban Spatial-Temporal Prediction

Jiawei Jiang, Chengkai Han외 3명|arXiv (Cornell University)|2023. 04. 27.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

LibCity는 도시 공간시계열 예측을 위한 통합 프레임워크를 제공하는 오픈소스, 파이토치 기반 라이브러리로, 55개의 표준화된 데이터셋과 9개의 하위 작업을 아우르는 65개의 사전 구현 모델을 제공한다. 이는 공정한 모델 비교를 가능하게 하고, 모듈러 설계와 원자적 파일 형식을 통해 모델 개발을 단순화하며, 스마트 시티 응용 분야에서 재현 가능한 연구를 위한 종합적인 벤치마크를 구축한다.

ABSTRACT

As deep learning technology advances and more urban spatial-temporal data accumulates, an increasing number of deep learning models are being proposed to solve urban spatial-temporal prediction problems. However, there are limitations in the existing field, including open-source data being in various formats and difficult to use, few papers making their code and data openly available, and open-source models often using different frameworks and platforms, making comparisons challenging. A standardized framework is urgently needed to implement and evaluate these methods. To address these issues, we propose LibCity, an open-source library that offers researchers a credible experimental tool and a convenient development framework. In this library, we have reproduced 65 spatial-temporal prediction models and collected 55 spatial-temporal datasets, allowing researchers to conduct comprehensive experiments conveniently. By enabling fair model comparisons, designing a unified data storage format, and simplifying the process of developing new models, LibCity is poised to make significant contributions to the spatial-temporal prediction field.

연구 동기 및 목표

• 일관되지 않은 데이터 포맷, 제한된 코드/데이터 가용성, 분산된 모델 구현으로 인해 도시 공간시계열 예측을 위한 표준화되고 재현 가능한 프레임워크의 부족을 해결한다.
• 통합된 데이터 저장 형식, 표준화된 평가 및 일관된 하이퍼파라미터 설정을 통해 공정하고 종합적인 모델 비교를 가능하게 한다.
• 구성, 데이터, 모델, 평가, 실행에 대한 명확한 인터페이스를 제공하는 모듈러하고 확장 가능한 프레임워크를 통해 신규 모델 개발을 단순화한다.
• 55개의 널리 사용되는 데이터셋을 수집하고 매크로, 마이크로, 기본 예측 작업을 아우르는 65개의 최첨단 모델을 재현함으로써 공간시계열 예측을 위한 벤치마크를 구축한다.
• 확장성, 자동 하이퍼파라미터 튜닝, 시각화 도구를 지원함으로써 도시 AI 연구 분야의 표준화와 커뮤니티 도입을 촉진한다.

제안 방법

• 모듈러리티, 재사용성, 구성 요소 간 원활한 통합을 보장하기 위해 파이토치 기반의 다섯 모듈 프레임워크(구성, 데이터, 모델, 평가, 실행)를 설계한다.
• 지리적, 사용자, 관계, 공간시계열 동적, 외부 데이터의 다섯 가지 핵심 데이터 유형을 표현하는 일반화되고 확장 가능한 데이터 형식인 '원자적 파일(atomic files)'을 도입하여 다양한 소스에서 일관된 데이터 처리를 가능하게 한다.
• 원자적 파일에서 유도된 표준화된 배치 입력 형식을 구현하여 다양한 작업 간 데이터 로딩 및 모델 훈련을 간소화한다.
• 개발자가 모델 정의, 손실 함수, 순전파를 담당하는 세 가지 핵심 인터페이스만 구현하면 되는 최소한의 인터페이스를 통해 모델 개발을 지원하며, LibCity는 훈련, 평가, 하이퍼파라미터 튜닝을 자동으로 관리한다.
• 자동 하이퍼파라미터 튜닝과 시각화 플랫폼을 통합하여 사용성과 실험 투명성을 향상시킨다.
• 55개의 데이터셋과 65개의 모델을 대상으로 모델 성능을 벤치마킹하고, 향후 연구를 안내하기 위해 공개 리더보드를 구축한다.

실험 결과

연구 질문

• RQ1 통합형 모듈러 프레임워크는 도시 공간시계열 예측 연구의 재현성과 비교 가능성에 어떻게 기여하는가?
• RQ2 원자적 파일과 같은 표준화된 데이터 형식은 이질적인 도시 공간시계열 데이터셋을 처리하는 복잡성을 어느 정도 감소시킬 수 있는가?
• RQ3 단일 라이브러리가 일관된 인터페이스를 통해 매크로 수준(예: 교통 흐름)과 마이크로 수준(예: 궤적 예측) 예측 작업을 동시에 효과적으로 지원할 수 있는가?
• RQ4 LibCity의 모듈러 설계는 기존 라이브러리 대비 새로운 모델 개발 및 평가를 어떻게 용이하게 하는가?
• RQ5 데이터, 모델, 평가의 표준화가 도시 AI 연구의 확장성과 커뮤니티 도입에 어떤 영향을 미치는가?

주요 결과

• LibCity는 55개의 다양한 도시 공간시계열 데이터셋과 65개의 사전 구현 모델을 지원하며, 교통 흐름, 속도, OD 매트릭스, 궤적 예측를 포함한 9개의 하위 작업을 아우른다.
• 라이브러리의 모듈러 설계 덕분에 개발자는 단지 세 가지 핵심 인터페이스만 구현하면 되어, 구현 오버헤드를 크게 줄일 수 있다.
• LibCity의 원자적 파일 형식은 일관된 데이터 표현과 처리를 보장하여 이질적인 데이터 소스 간의 데이터 준비 작업을 최소화한다.
• 라이브러리는 출판 당시 총 73개의 이슈 중 0개의 열린 이슈를 기록하며, GitHub 스타 485개, 포크 111개를 확보하여 강력한 커뮤니티 도입과 활발한 유지보수를 보여준다.
• DL-Traff, DGCRN, FOST와 같은 기존 도구와 비교해 LibCity는 모델 및 데이터셋 커버리지, 모듈러리티, 확장성 면에서 뛰어난 성능을 보였다.
• 포괄적인 벤치마킹 프레임워크를 통해 공정하고 재현 가능한 모델 평가가 가능하며, 공개 성능 리더보드를 통해 유망한 연구 방향을 식별할 수 있다.