[論文レビュー] Using convolutional networks and satellite imagery to identify patterns in urban environments at a large scale

Adrian Albert, Jasleen Kaur+1 more|arXiv (Cornell University)|Apr 10, 2017

Remote-Sensing Image Classification参考文献 16被引用数 23

ひとこと要約

本稿では、10のヨーロッパ都市にまたがる14万件のサンプルを含む新規オープンデータセットを活用し、畳み込みニューラルネットワーク（CNN）と衛星画像を用いた、スケールに応じた都市用地区分分類のためのディープラーニングフレームワークを提案する。CNNで学習された特徴量が正確な用地区分分類を可能にするとともに、都市間の地域比較を意味的に可能にし、データが乏しい地域における都市分析のための低コストでスケーラブルなソリューションを提供する。

ABSTRACT

Urban planning applications (energy audits, investment, etc.) require an understanding of built infrastructure and its environment, i.e., both low-level, physical features (amount of vegetation, building area and geometry etc.), as well as higher-level concepts such as land use classes (which encode expert understanding of socio-economic end uses). This kind of data is expensive and labor-intensive to obtain, which limits its availability (particularly in developing countries). We analyze patterns in land use in urban neighborhoods using large-scale satellite imagery data (which is available worldwide from third-party providers) and state-of-the-art computer vision techniques based on deep convolutional neural networks. For supervision, given the limited availability of standard benchmarks for remote-sensing data, we obtain ground truth land use class labels carefully sampled from open-source surveys, in particular the Urban Atlas land classification dataset of $20$ land use classes across $~300$ European cities. We use this data to train and compare deep architectures which have recently shown good performance on standard computer vision tasks (image classification and segmentation), including on geospatial data. Furthermore, we show that the deep representations extracted from satellite imagery of urban environments can be used to compare neighborhoods across several cities. We make our dataset available for other machine learning researchers to use for remote-sensing applications.

研究の動機と目的

• 衛星画像とディープラーニングを用いた、コストの高い専門家による調査に依存しない、スケーラブルで自動化された都市用地区分分類手法の開発。
• リモートセンシングデータのラベル付きデータの不足に応えるために、300のヨーロッパ都市にまたがる10の標準化された用地区分クラスの地面真理ラベルを有する、14万件の衛星画像サンプルを含む大規模オープンデータセットの構築。
• 衛星画像から深層畳み込み特徴量を抽出・分析することで、都市環境の都市間比較を可能にする。
• 学習された表現の地理的に多様な都市地域への汎用性を実証し、都市計画やスマートシティの応用を支援する。
• リモートセンシング、都市インフォーマティクス、都市環境における機械学習分野の研究を促進するため、公開可能なデータセットと訓練済みモデルを提供する。

提案手法

• 10のヨーロッパ都市の224×224 RGB 衛星画像からなる大規模データセットを用い、最先端の深層畳み込みニューラルネットワーク（VGG-16およびResNet）を訓練した。
• 10の標準化された用地区分クラスの地面真理ラベルを有するUrban Atlasデータセットを、300のヨーロッパ都市にまたがるデータのソースとして用いた。本研究ではそのうち10都市のサブセットを選定した。
• モデルの汎化性と耐性を向上させるために、ランダムな反転、シアー、スケーリング、回転などのデータ拡張技術を適用した。
• ImageNetの重みで初期化し、確率的勾配降下法とAdadelta最適化を用いて、衛星画像データ上で微調整することで、トランスファーラーニングを採用した。
• 訓練済みCNNの最終全結合層から深層特徴量を抽出し、都市環境を低次元連続空間に表現した。
• これらの学習済み特徴量を用いて、異なる都市の地域間でクラスタリングと類似性分析を実施し、都市環境の視覚的・構造的比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 都市間の視覚的変動が著しいにもかかわらず、ディープ畳み込みニューラルネットワークは、衛星画像から大規模に都市用地区分を正確に分類できるか？
• RQ2 衛星画像から抽出した深層特徴量は、異なる都市の都市地域をどの程度意味的に比較可能にするか？
• RQ3 都市内と都市間の用地区分分類において、モデルの性能はどのように変動し、その差に影響を与える要因は何か？
• RQ4 どの用地区分クラスが、衛星画像を用いた自動分類に最も適しており、逆に最も不適であるか。その理由は何か？
• RQ5 CNNから学習された表現を用いることで、都市計画や社会経済的パターンを反映するように、都市環境の視覚的類似性を定量化できるか？

主な発見

• 同じ機能的分類を持つ都市環境においても視覚的変動が著しいにもかかわらず、提案手法は都市用地区分分類において期待できる精度を達成した。
• 「高密度」「中密度」「低密度」都市地域の区別が、モデルにとって最も困難であった。これは、このような高レベルの分類が主観的で複雑であることを示している。
• 農地、森林、空港は都市間で視覚的整合性が高く、信頼性の高い分類と類似性測定が可能であった。
• 緑地（公園）は森林やレクリエーション施設と視覚的に類似しており、都市内での分類性能は都市間よりも高かった。
• 工業地域は都市間で類似性が高く、工業地域の視覚的パターンが地理的に特異ではなく、地域を越えて転送可能であることが示された。
• CNNから抽出した深層特徴量は、任意の都市地域の「近隣」を効果的に特定でき、視覚的構成に基づいた、豊富でデータ駆動型の都市環境比較を可能にした。