[論文レビュー] Learning Neighborhood Representation from Multi-Modal Multi-Graph: Image, Text, Mobility Graph and Beyond

Tianyuan Huang, Zhecheng Wang+3 more|arXiv (Cornell University)|May 6, 2021

Human Mobility and Location-Based Analysis参考文献 25被引用数 8

ひとこと要約

本稿では、ストリートビュー画像、POIデータ、地理的近接性、人的移動をノードおよびエッジ特徴として統合することで、都市の地区表現を学習するマルチモーダル・マルチグラフフレームワークM3Gを提案する。マルチグラフ構造上で対照的サンプリング戦略を用いることで、下流の予測タスクで最先端の性能を達成し、学習された埋め込み空間において空間的および移動ベースの関係を効果的に捉えることができる。

ABSTRACT

Recent urbanization has coincided with the enrichment of geotagged data, such as street view and point-of-interest (POI). Region embedding enhanced by the richer data modalities has enabled researchers and city administrators to understand the built environment, socioeconomics, and the dynamics of cities better. While some efforts have been made to simultaneously use multi-modal inputs, existing methods can be improved by incorporating different measures of 'proximity' in the same embedding space - leveraging not only the data that characterizes the regions (e.g., street view, local businesses pattern) but also those that depict the relationship between regions (e.g., trips, road network). To this end, we propose a novel approach to integrate multi-modal geotagged inputs as either node or edge features of a multi-graph based on their relations with the neighborhood region (e.g., tiles, census block, ZIP code region, etc.). We then learn the neighborhood representation based on a contrastive-sampling scheme from the multi-graph. Specifically, we use street view images and POI features to characterize neighborhoods (nodes) and use human mobility to characterize the relationship between neighborhoods (directed edges). We show the effectiveness of the proposed methods with quantitative downstream tasks as well as qualitative analysis of the embedding space: The embedding we trained outperforms the ones using only unimodal data as regional inputs.

研究の動機と目的

• 多様な地理タグ付きデータモダリティを用いた都市地区表現学習の統合フレームワークを構築すること。
• 複雑な都市的関係を捉えるために、単一モダリティまたは孤立したデータ手法の限界を克服すること。
• マルチモーダル入力を用いて、地区内（ノードレベル）および地区間（エッジレベル）の関係をモデル化すること。
• メモリのボトルネックを回避しつつ、複数の都市にスケーラブルに適用可能な教師なし表現学習を可能にすること。
• 定量的な予測タスクと定性的な意味的構造分析を通じて、学習された埋め込みの質を評価すること。

提案手法

• 各地区を画像およびPOI特徴で豊かにしたノードとして持つマルチモーダル・マルチグラフ（M3G）として都市地区をモデル化する。
• 地理的近接性と人的移動経路を指向性エッジとして用いて、地区間の関係を表現する。
• グラフエッジに基づいて三つ組み（アーキテクチャ、ポジティブ、ネガティブ）をサンプリングする対照的サンプリング方式を適用し、スケーラブルな学習を可能にする。
• 関連する地区間の意味的類似性を保つように、類似したアーキテクチャを用いて地区埋め込みを学習する。
• ストリートビュー画像およびPOI特徴の事前学習済みエンコーダーを活用し、マルチモーダルなノード表現を抽出する。
• 対照的損失を用いてエンドツーエンドでモデルを学習し、関連する地区間の意味的類似性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 画像、POI、移動、空間的近接性といったマルチモーダルデータを統合した統合的グラフ構造が、都市地区表現学習を改善できるか？
• RQ2 学習された埋め込みは、実世界の空間的および移動関係をどの程度正しく捉えているか？
• RQ3 提案された対照的サンプリングアプローチは、性能劣化を伴わず、複数都市のデータ上でスケーラブルな学習を可能にするか？
• RQ4 地区埋め込みは、都市における社会経済的および人口統計的パターンをどの程度反映しているか？
• RQ5 下流の予測タスクにおいて、学習された埋め込みは単一モダリティベースラインと比較してどの程度優れているか？

主な発見

• M3Gフレームワークは、シカゴで複数都市のデータを用いて学習した場合、6つの人口統計的および経済的属性の予測で最先端の性能を達成し、平均R²が0.627を記録した。
• シカゴとニューヨークの両都市のデータで学習した場合、シカゴの予測性能が向上（R² = 0.627）したが、ニューヨークでは向上が見られなかった（単一都市学習時：R² = 0.613）。
• 学習された地区埋め込みは、実世界の移動パターンと強く相関している：相互に多くの訪問者をもつ地区同士は、埋め込み距離が近い。
• 埋め込み距離は空間的距離とも相関しており、モデルが表現空間において地理的近接性を正しく捉えていることが示された。
• k-meansクラスタリングによる定性的分析では、犯罪率が類似した地区（例：ダウンタウンおよびサウスシカゴの高犯罪地域）が埋め込み空間で同じクラスタにグループ化された。
• PCA可視化では、ストリートビュー画像の埋め込みが、それに対応する地区埋め込みの周囲に密にクラスタリングされており、地域の視覚的特徴とグローバルな地区表現との間で意味的整合性が保たれていることが示された。