[論文レビュー] Quantifying Urban Canopy Cover with Deep Convolutional Neural Networks

Bill Cai, Xiaojiang Li+1 more|arXiv (Cornell University)|Dec 3, 2019

Urban Heat Island Mitigation参考文献 37被引用数 7

ひとこと要約

本論文では、ストリートレベルの画像を用いた都市ヒューマンカウントカバー推定の精度とスケーラビリティを向上させるため、ディープコンvolutionニューラルネットワーク（DCNN）アプローチを提案する。Google ストリートビューと Cityscapes データセットを活用したセマンティックセグメンテーションとエンドツーエンド学習により、グリーンビューインデックス（GVI）推定の平均絶対誤差を 10.1% から 4.67% に低減し、22 か国の都市を網羅する大規模分析を可能にし、都市フォレストリ研究および政策立案を強化する。

ABSTRACT

Urban canopy cover is important to mitigate the impact of climate change. Yet, existing quantification of urban greenery is either manual and not scalable, or use traditional computer vision methods that are inaccurate. We train deep convolutional neural networks (DCNNs) on datasets used for self-driving cars to estimate urban greenery instead, and find that our semantic segmentation and direct end-to-end estimation method are more accurate and scalable, reducing mean absolute error of estimating the Green View Index (GVI) metric from 10.1% to 4.67%. With the revised DCNN methods, the Treepedia project was able to scale and analyze canopy cover in 22 cities internationally, sparking interest and action in public policy and research fields.

研究の動機と目的

• スケールでの都市緑化の定量的評価における、人的および従来のコンピュータビジョン手法の限界を解決すること。
• 特にグリーンビューインデックス（GVI）のストリートレベルにおける都市ヒューマンカウントカバー推定の精度を向上させること。
• 従来のしきい値とクラスタリング手法を凌駕する、スケーラブルで自動化された深層学習手法を開発すること。
• 公共政策および環境研究応用のための、大規模な都市緑化分析を可能にすること。
• 誤検出（ファルス・ポジティブ）および見逃し（ファルス・ネガティブ）を低減することで、より信頼性の高い都市ヒューマンカウントカバーの指標を提供すること。

提案手法

• ストリートレベルの画像における垂直植生のセマンティックセグメンテーションを目的とした、ピラミッド・スケンス・パーサリング・ネットワーク（PSPNet）アーキテクチャを訓練した。
• GSV データセットでの微調整の前に、特徴学習を向上させるために、Cityscapes データセットを用いて DCNN を事前学習した（二値の植生／非植生ラベルに変換済み）。
• 限られたラベル付き GSV データに対して、元の Cityscapes モデルからの事前学習重みを初期値として使用することで、トランスファー学習を実装した。
• 中間のセグメンテーションステップを回避し、入力画像から直接グリーンビューインデックス（GVI）を予測するエンドツーエンド学習を採用した。
• 2 つの評価指標を用いた：セグメンテーション精度には平均交差率（mean IoU）、GVI推定精度には平均絶対誤差（MAE）を用いた。
• モデルの意思決定を解釈するために Grad-CAM 視覚化を適用し、ネットワークが入力画像内の関連する植生特徴に注目していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 従来のしきい値とクラスタリング手法と比較して、ディープコンボリューショナルニューラルネットワーク（DCNN）は、都市ヒューマンカウントカバー推定の精度を向上させることができるか？
• RQ2 Cityscapes データセットからのトランスファー学習は、限られたストリートレベル画像における植生セグメンテーションの性能をどの程度向上させるか？
• RQ3 エンドツーエンドの DCNN アプローチは、多様な都市環境において、セマンティックセグメンテーションと比較してグリーンビューインデックス（GVI）推定にどの程度優れているか？
• RQ4 モデルアーキテクチャおよびトレーニング戦略は、垂直植生の誤検出および見逃しを低減するために、どのように影響を与えるか？
• RQ5 提案手法は、複数の国際的都市にわたり、大規模な都市緑化分析を効果的にスケーリングできるか？

主な発見

• 提案された DCNN を用いたセマンティックセグメンテーション手法により、従来手法と比較して GVI 推定の平均絶対誤差（MAE）が 10.1% から 4.67% に顕著に低減した。
• 平均交差率（mean IoU）による測定により、局所化精度が向上し、垂直植生のピクセルレベル検出が改善された。
• Cityscapes データセットからのトランスファー学習により、より小さな都市固有の GSV データセットでも、モデルの汎化性能と性能が向上した。
• GVI を直接推定するエンドツーエンド DCNN アプローチは、高い精度とスケーラビリティを示し、22 か国の都市で大規模分析を可能にした。
• Grad-CAM 視覚化により、モデルが関連する植生特徴に注目していることが確認され、解釈可能性と信頼性が向上した。
• 精度とスケーラビリティの向上により、Treepedia プロジェクトは都市フォレストリおよび気候レジリエンス分野の公共政策および研究イニシャチブを支援できるようになった。