[論文レビュー] A Cross-City Federated Transfer Learning Framework: A Case Study on Urban Region Profiling

Gaode Chen, Yijun Su+7 more|arXiv (Cornell University)|May 31, 2022

Human Mobility and Location-Based Analysis被引用数 6

ひとこと要約

本稿では、都市領域のプロファイリングにおけるデータ欠損とラベル不足の両方の課題に、都市間の関係的知識とモデルパラメータの転送を活用することで対処する、CcFTLと呼ばれるクロスシティフェデレーテッドトランスファーラーニングフレームワークを提案する。フェデレーテッドラーニングと同数暗号化を用いることで、データプライバシーを保護しつつ、都市間での知識共有を実現する。実験の結果、消費電力予測において最先端の手法を顕著に上回る性能を示した。

ABSTRACT

Data insufficiency problems (i.e., data missing and label scarcity) caused by inadequate services and infrastructures or imbalanced development levels of cities have seriously affected the urban computing tasks in real scenarios. Prior transfer learning methods inspire an elegant solution to the data insufficiency, but are only concerned with one kind of insufficiency issue and fail to give consideration to both sides. In addition, most previous cross-city transfer methods overlook inter-city data privacy which is a public concern in practical applications. To address the above challenging problems, we propose a novel Cross-city Federated Transfer Learning framework (CcFTL) to cope with the data insufficiency and privacy problems. Concretely, CcFTL transfers the relational knowledge from multiple rich-data source cities to the target city. Besides, the model parameters specific to the target task are firstly trained on the source data and then fine-tuned to the target city by parameter transfer. With our adaptation of federated training and homomorphic encryption settings, CcFTL can effectively deal with the data privacy problem among cities. We take the urban region profiling as an application of smart cities and evaluate the proposed method with a real-world study. The experiments demonstrate the notable superiority of our framework over several competitive state-of-the-art methods.

研究の動機と目的

• 資源が乏しい都市における都市コンピューティングの文脈で、データ欠損とラベル不足の二重の課題に対処すること。
• 都市間の生データ共有を避けることで、都市間のデータプライバシーを保護すること。
• 都市コンピューティングの応用分野における、スケーラブルでプライバシーを保護するクロスシティ知識転送フレームワークの構築。
• データ豊富な都市からデータが乏しい都市へ、関係的知識とパラメータベースの知識転送を用いて、強固な都市領域プロファイリングを可能にすること。
• 事例研究を通じて、フレームワークの有効性を実世界の都市計画シナリオで示すこと。

提案手法

• 複数のソース都市が生データを共有せずに共同でモデルを学習するフェデレーテッドラーニングの枠組みを採用する。
• 都市データに共通する構造的関係に基づいて、空間的・時間的パターンを統合する関係的知識転送を実施する。
• ソース都市から得たモデルパラメータを、ターゲット都市でファインチューニングすることで、地域固有の分布に適応させる。
• フェデレーテッドトレーニングプロセスに同数暗号化を統合し、都市データのエンドツーエンドのプライバシー保護を実現する。
• 水平的および垂直的フェデレーテッドラーニングのコンponentsをサポートし、データ可用性が異なる都市間での柔軟な協働を可能にする。
• 二段階のトレーニングプロセスを採用：まずソース都市で事前学習を行い、その後ターゲット都市でファインチューニングすることで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クロスシティトランスファーラーニングフレームワークは、都市コンピューティングにおけるデータ欠損とラベル不足の両方を効果的に処理できるか？
• RQ2 関係的知識転送は、データが乏しい都市地域におけるモデル性能をどの程度向上させられるか？
• RQ3 同数暗号化を組み合わせたフェデレーテッドラーニングは、都市間での有効な知識転送を可能にしつつ、データプライバシーを確保できるか？
• RQ4 CcFTLは、都市領域プロファイリングの文脈で、最先端の手法と比較して正確性と頑健性に優れているか？
• RQ5 CcFTLは、都市計画およびスマートシティ開発において、実用的なインサイトを提供できるか？

主な発見

• CcFTLは、消費電力予測において、複数の最先端手法を顕著に上回り、特にデータが乏しい都市地域において優れた正確性と頑健性を示した。
• 複数のデータ豊富な都市から得た関係的知識をターゲット都市に転送することで、本フレームワークはデータ不足を効果的に緩和した。
• フェデレーテッドラーニングと同数暗号化によりプライバシーが保護され、生の都市データを暴露せずに安全な協働が可能になった。
• 洛陽における事例研究では、CcFTLが、マーカー1およびマーカー2の近くに商業地区を設置する最適な場所を特定する手がかりを提供した。
• 長尾分布下でも安定した性能を示したため、実世界の都市環境における強力な一般化能力を示している。
• 関係的知識転送とパラメータ転送の統合により、単一の転送タイプに依存する手法よりも、収束性と性能が優れたことがわかった。