[論文レビュー] Fine-Grained Land Use Classification at the City Scale Using Ground-Level Images

Yi Zhu, Xueqing Deng+1 more|arXiv (Cornell University)|Feb 7, 2018

Remote-Sensing Image Classification参考文献 31被引用数 5

ひとこと要約

本論文は、Flickrの地理的に位置指定された地上レベルの画像を用いて、都市規模の細分化された土地利用分類のためのディーブラーニングフレームワークを提案する。検索ベースのデータ拡張とオンライン適応型トレーニングを用いてエンドツーエンドに訓練された二本のストリームで構成される畳み込みニューラルネットワークを採用し、サンフランシスコの新規45クラスの地面真値マップにおいて、パラセルレベルで29.03%のリコールを達成した。これは、細分化された都市土地利用マッピングの強力なベースラインを示している。

ABSTRACT

We perform fine-grained land use mapping at the city scale using ground-level images. Mapping land use is considerably more difficult than mapping land cover and is generally not possible using overhead imagery as it requires close-up views and seeing inside buildings. We postulate that the growing collections of georeferenced, ground-level images suggest an alternate approach to this geographic knowledge discovery problem. We develop a general framework that uses Flickr images to map 45 different land-use classes for the City of San Francisco. Individual images are classified using a novel convolutional neural network containing two streams, one for recognizing objects and another for recognizing scenes. This network is trained in an end-to-end manner directly on the labeled training images. We propose several strategies to overcome the noisiness of our user-generated data including search-based training set augmentation and online adaptive training. We derive a ground truth map of San Francisco in order to evaluate our method. We demonstrate the effectiveness of our approach through geo-visualization and quantitative analysis. Our framework achieves over 29% recall at the individual land parcel level which represents a strong baseline for the challenging 45-way land use classification problem especially given the noisiness of the image data.

研究の動機と目的

• 従来のリモートセンシングや粗い土地利用マップでは機能的多様性を捉えきれない都市規模の細分化された土地利用分類の課題に対処すること。
• ノイズが多く構造のないユーザー生成画像の制限を克服するため、弱教師あり学習に適した堅牢なディーブラーニング技術を開発すること。
• 5つの上位クラス、16の中央クラス、45の細分化クラスからなる3段階の階層を持つ、サンフランシスコの標準化された高解像度の地面真値土地利用マップを構築し、今後の研究のベンチマークとする。
• 大規模かつ地理的位置が特定されたWeb画像を用いた自動的かつ最新の都市機能マッピングの実現可能性と有効性を示すこと。

提案手法

• オブジェクト認識用とシーン認識用の2本のストリームを持つ畳み込みニューラルネットワークを提案し、視覚的コンテンツからの統合的特徴学習を可能にする。
• ノイズの多いFlickr画像を弱教師ありでエンドツーエンドに訓練する際、一般化性能を向上させるために、新規の検索ベースのデータ拡張戦略を採用する。
• トレーニング中にモデルを動的に調整することで、ラベルノイズや分布シフトに対してより頑健になるよう、オンライン適応型トレーニング戦略を導入する。
• 地面真値マップは、Land Based Classification Standards (LBCS) と Google Places API を統合することで構築され、評価用の45クラスの注釈階層を提供する。
• 本フレームワークは、サンフランシスコの都市全体にわたる位置指定付き画像を活用し、すべてのデータを手動でラベル付けする必要なく、スケーラブルかつ大規模な土地利用推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、ユーザー生成された地上レベルの画像のみを用いて、都市規模の細分化された土地利用分類を効果的に達成できるか？
• RQ2 二本のストリームCNNを用いたエンドツーエンドトレーニングは、単一ストリームモデルと比較して、微細な土地利用の違いをどれほど効果的に区別できるか？
• RQ3 検索ベースのデータ拡張とオンライン適応型トレーニングは、ノイズの多いWeb画像データに対して、どの程度モデルの頑健性を向上させるか？
• RQ4 Flickr画像でトレーニングされたモデルは、Instagramなどの他のソーシャルメディアソースにも一般化可能か。これは、転移学習能力とドメイン適応能力を示唆する。
• RQ5 細分化されたクラスでトレーニングすると、粗い土地利用カテゴリの分類性能が、直接粗いラベルでトレーニングする場合よりも向上するのか？

主な発見

• 提案された二本のストリームCNNフレームワークは、45クラス分類タスクにおいて、個々の土地パラセルレベルで29.03%のリコールを達成し、細分化された土地利用マッピングの強力なベースラインを確立した。
• 45クラス分類では46.7%、16クラスでは61.8%、5クラスでは75.6%の精度を達成し、細分化されたクラスでトレーニングすることで、粗い階層でも性能が向上することを示した。
• 細分化されたクラスでトレーニングした場合、直接粗いラベルでトレーニングするよりも優れた性能を示した。後者はクラス内分散が大きく、49.3%の精度にとどまり、わずかにランダムチャンスより高い水準にとどまった。
• モデルは他のデータソースにも一般化可能であり、スタイルやコンテンツの違いがあるにもかかわらず、Instagram画像では17.3%のリコールを達成した。これは、優れたドメイン適応能力を示している。
• オブジェクトストリームの性能がシーンストリームを上回った。これは、オブジェクトレベルの手がかりが土地利用分類においてより特徴的であることを示し、将来的にオブジェクト検出器を活用することで性能向上が可能であることを支持する。