[論文レビュー] Individual Tree Detection in Large-Scale Urban Environments using High-Resolution Multispectral Imagery

Jonathan Ventura, Camille Pawlak+11 more|arXiv (Cornell University)|Aug 22, 2022

Remote Sensing in Agriculture被引用数 6

ひとこと要約

本論文では、都市全体の地域をカバーする高分解能マルチスペクトル航空画像を用いた深層学習手法を提案する。U-Netに類似したネットワーク（HR-SFANet）を活用し、木の位置を推定するための信頼度マップを回帰することで、カリフォルニア南部のデータで73.6%の精度と73.3%の再現率を達成し、カリフォルニア州の都市緑地を大規模にマッピングすることができ、推定される木の数は4350万本にのぼる。

ABSTRACT

We introduce a novel deep learning method for detection of individual trees in urban environments using high-resolution multispectral aerial imagery. We use a convolutional neural network to regress a confidence map indicating the locations of individual trees, which are localized using a peak finding algorithm. Our method provides complete spatial coverage by detecting trees in both public and private spaces, and can scale to very large areas. We performed a thorough evaluation of our method, supported by a new dataset of over 1,500 images and almost 100,000 tree annotations, covering eight cities, six climate zones, and three image capture years. We trained our model on data from Southern California, and achieved a precision of 73.6% and recall of 73.3% using test data from this region. We generally observed similar precision and slightly lower recall when extrapolating to other California climate zones and image capture dates. We used our method to produce a map of trees in the entire urban forest of California, and estimated the total number of urban trees in California to be about 43.5 million. Our study indicates the potential for deep learning methods to support future urban forestry studies at unprecedented scales.

研究の動機と目的

• 公開利用可能な高分解能マルチスペクトル画像を用いて、都市環境における個々の木の検出を可能にするスケーラブルな深層学習手法の開発。
• 手動によるインventoriesが公共用地に限られるのを克服し、公共および私有都市用地を含む完全な空間的カバーを実現する。
• 大規模で多様なデータセットを用いて、異なる気候帯および画像撮影日付におけるモデルの汎化性能を評価する。
• カリフォルニア州レベルの都市木マップを生成し、大規模に都市木の総数を推定する。
• ボックスではなく点アノテーションを用いる手法の実現可能性を示し、作業負荷を削減しながらも性能を維持することを示す。

提案手法

• 本手法は、60 cm解像度のマルチスペクトル航空画像からの特徴抽出にVGG-16エンコーダを用いた、変更を加えたU-NetアーキテクチャであるHR-SFANetを採用する。
• デコーダーヘッドがスキップ接続を通じてエンコーダ層からの空間的詳細を保持し、木の位置を示す信頼度マップを回帰によって生成する。
• アテンションマップを計算し、信頼度マップに乗算することで予測を精緻化し、局所化の正確性を向上させる。
• 非最大抑制やボックス回帰を必要とせず、信頼度マップ上のピーク検出によって木の位置を同定する。
• ポイントアノテーションに基づくバイナリクロスエントロピー損失を用いてエンドツーエンドで学習し、データオーグメンテーションによりロバストネスを向上させる。
• 画像をパッチに分割して処理し、結果をスタイチングすることで大規模領域へのスケーリングを可能とし、州レベルのマッピングを実現する。

実験結果

リサーチクエスチョン

• RQ1 カリフォルニア州の1地域から得たマルチスペクトル画像で学習した深層学習モデルが、他の気候帯および画像撮影日付にも一般化可能か？
• RQ2 都市木検出において、従来のボックスベースの検出手法と比較して、ポイントベースの検出手法の性能はどのように異なるか？
• RQ3 公共用地の画像で学習したモデルが、明示的にそのような領域で学習していない私有用地の木をどの程度正しく検出できるか？
• RQ4 公開利用可能なデータを用いて、米国1州にわたる都市緑地のマッピングに本手法はどの程度スケーラブルか？
• RQ5 カリフォルニア州の全都市緑地に適用した際、得られる木の数の正確性はどの程度か？

主な発見

• カリフォルニア南部のデータに対してテストしたところ、モデルは73.6%の精度と73.3%の再現率を達成し、ターゲット領域で優れた性能を示した。
• 他のカリフォルニアの気候帯および画像撮影日付に拡張した場合、モデルは同程度の精度を維持したが、わずかに低い再現率を示し、中程度の汎化能力があることが示された。
• 本手法は公共および私有用地の両方で木を正しく検出でき、都市木検出の完全な空間的カバーを実現した。
• 学習済みモデルを用いて、カリフォルニア州のすべての都市地域をマッピングし、都市木の総数を約4350万本と推定した。
• 8都市、6つの気候帯、3年間の期間をカバーする1500枚以上の画像と、約10万件の木のアノテーションを含むデータセットは、今後の都市木検出研究の強固なベンチマークを提供する。
• ボックスではなく点アノテーションを用いることで、作業負荷を削減しながらも高い検出精度を維持でき、既存の都市木インventoriesとの統合を支援する。