[논문 리뷰] A Cross-City Federated Transfer Learning Framework: A Case Study on Urban Region Profiling

Gaode Chen, Yijun Su외 7명|arXiv (Cornell University)|2022. 05. 31.

Human Mobility and Location-Based Analysis인용 수 6

한 줄 요약

이 논문은 소비 전력 예측에서 데이터 누락과 레이블 부족 문제를 동시에 해결하기 위해 상호관계 지식과 도시 간 모델 파라미터 전달을 활용하면서도, 연합 학습과 동형 암호화를 통해 데이터 프라이버시를 유지하는 크로스시티 연합 전이 학습 프레임워크 CcFTL을 제안한다. 실험 결과, 최신 기법들에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Data insufficiency problems (i.e., data missing and label scarcity) caused by inadequate services and infrastructures or imbalanced development levels of cities have seriously affected the urban computing tasks in real scenarios. Prior transfer learning methods inspire an elegant solution to the data insufficiency, but are only concerned with one kind of insufficiency issue and fail to give consideration to both sides. In addition, most previous cross-city transfer methods overlook inter-city data privacy which is a public concern in practical applications. To address the above challenging problems, we propose a novel Cross-city Federated Transfer Learning framework (CcFTL) to cope with the data insufficiency and privacy problems. Concretely, CcFTL transfers the relational knowledge from multiple rich-data source cities to the target city. Besides, the model parameters specific to the target task are firstly trained on the source data and then fine-tuned to the target city by parameter transfer. With our adaptation of federated training and homomorphic encryption settings, CcFTL can effectively deal with the data privacy problem among cities. We take the urban region profiling as an application of smart cities and evaluate the proposed method with a real-world study. The experiments demonstrate the notable superiority of our framework over several competitive state-of-the-art methods.

연구 동기 및 목표

• 자원이 부족한 도시에서의 도시 계산 분야에서의 데이터 누락과 레이블 부족이라는 이중 과제를 해결하기 위해.
• 도시 간 원시 데이터 공유를 방지함으로써 상호 도시 간 데이터 프라이버시를 보존하기 위해.
• 자원이 풍부한 도시에서 자원이 부족한 도시로 지식을 전달할 수 있는 확장 가능하고 프라이버시 보장형 프레임워크를 개발하기 위해.
• 자원이 풍부한 도시에서의 상호관계 기반 및 파라미터 기반 지식 전달을 통해 자원이 부족한 도시의 강력한 도시 영역 프로파일링을 가능하게 하기 위해.
• 사례 연구를 통해 실세계 도시 계획 시나리오에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 여러 원천 도시가 원시 데이터를 공유하지 않고도 공동으로 모델을 훈련할 수 있도록 연합 학습 설정을 적용한다.
• 도시 간 공통적인 구조적 관계를 기반으로 도시 간 시공간 패턴을 정렬하기 위해 관계 지식 전달을 사용한다.
• 원천 도시의 모델 파라미터를 대상 도시에서 파라미터 전달을 통해 미세조정함으로써 지역 분포에 맞게 적응시킨다.
• 도시 데이터의 종단 간 프라이버시 보호를 보장하기 위해 연합 학습 과정에 동형 암호화를 통합한다.
• 다양한 데이터 가용성을 가진 도시 간에 영향을 미치는 융합적 협업을 가능하게 하기 위해 수평적 및 수직적 연합 학습 구성 요소를 지원한다.
• 일반화 성능을 향상시키기 위해 사전 훈련(원천 도시에서)과 이후 미세조정(대상 도시에서)을 포함하는 이중 단계 훈련 과정을 사용한다.

실험 결과

연구 질문

• RQ1 크로스시티 전이 학습 프레임워크는 도시 계산 분야에서 데이터 누락과 레이블 부족 문제를 효과적으로 어떻게 다룰 수 있는가?
• RQ2 관계 지식 전달은 자원이 부족한 도시 영역에서 모델 성능 향상에 얼마나 기여하는가?
• RQ3 동형 암호화를 통한 연합 학습은 도시 간 효과적인 지식 전달을 가능하게 하면서도 데이터 프라이버시를 보장할 수 있는가?
• RQ4 CcFTL는 소비 전력 예측 분야에서 최신 기법들에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 CcFTL는 도시 계획 및 스마트 시티 개발에 있어 실질적인 통찰을 어떻게 제공할 수 있는가?

주요 결과

• CcFTL는 소비 전력 예측 분야에서 몇 가지 최신 기법들에 비해 뚜렷한 승리를 거두었으며, 자원이 부족한 도시 영역에서 뛰어난 정확도와 강건성을 입증했다.
• 다양한 자원이 풍부한 도시에서 유래한 관계 지식 전달을 통해 자원이 부족하고 레이블이 적은 대상 도시에서의 데이터 부족 문제를 효과적으로 완화했다.
• 연합 학습과 동형 암호화를 통해 프라이버시를 보존하여 원시 도시 데이터를暴露하지 않으면서도 안전한 협업을 가능하게 했다.
• Luoyang에서의 사례 연구 결과, CcFTL는 Marker 1과 Marker 2 근처에 사업지구를 최적으로 배치할 수 있도록 도와주는 도시 계획에 기여할 수 있었다.
• 장꼬리형 데이터 분포 조건에서도 안정적인 성능을 기록하여 실제 도시 환경에서 강력한 일반화 능력을 보였다.
• 관계 지식 전달과 파라미터 전달의 통합은 단일 전달 유형에 의존하는 방법보다 더 나은 수렴과 성능을 이끌어냈다.