[論文レビュー] Multi-Task Learning for Segmentation of Building Footprints with Deep Neural Networks

Benjamin Bischke, Patrick Helber+3 more|arXiv (Cornell University)|Sep 18, 2017

Remote-Sensing Image Classification被引用数 40

ひとこと要約

本稿では、距離変換と不確実性重み付き学習を用いた段階的マルチタスク損失を提案し、高分解能衛星画像における建物ポリゴンのセマンティックセグメンテーションの精度を向上させる。VGG16ベースのエンコーダデコーダーネットワークに境界認識の監督を統合することで、後処理を一切行わずに最先端手法よりも8.3%高いIoUを達成し、予測の『ボンボン状』化を顕著に低減するとともに境界の正確性を向上させた。

ABSTRACT

The increased availability of high resolution satellite imagery allows to sense very detailed structures on the surface of our planet. Access to such information opens up new directions in the analysis of remote sensing imagery. However, at the same time this raises a set of new challenges for existing pixel-based prediction methods, such as semantic segmentation approaches. While deep neural networks have achieved significant advances in the semantic segmentation of high resolution images in the past, most of the existing approaches tend to produce predictions with poor boundaries. In this paper, we address the problem of preserving semantic segmentation boundaries in high resolution satellite imagery by introducing a new cascaded multi-task loss. We evaluate our approach on Inria Aerial Image Labeling Dataset which contains large-scale and high resolution images. Our results show that we are able to outperform state-of-the-art methods by 8.3\\% without any additional post-processing step.

研究の動機と目的

• 高分解能衛星画像のセマンティックセグメンテーションにおける不正確な『ボンボン状』の境界問題を解決すること。
• 深層ニューラルネットワークに幾何的境界情報を取り入れることで、建物ポリゴンセグメンテーションの精度を向上させること。
• トレーニング段階で境界の忠実性を向上させることで、後処理への依存度を低減すること。
• 不確実性重み付きマルチタスク学習の有効性を、リモートセンシングセグメンテーションにおいて評価すること。
• より深いエンコーダーと構造的マルチタスク損失が、先行研究の最先端手法を上回ることを示すこと。

提案手法

• VGG16エンコーダとSegNetスタイルのデコーダを用いて、建物セグメンテーションのための階層的特徴を抽出する。
• 切断および量子化された距離マスクを用いた、セマンティックセグメンテーションと境界までの距離予測を組み合わせた段階的マルチタスク損失を導入する。
• 境界近接度の真値を生成するために距離変換を適用し、R=20で切断し、K=10のビンに分割する。
• 学習可能な重みを用いて、セグメンテーション損失と境界予測損失の動的バランスをとる不確実性重み付きマルチタスク学習戦略を採用する。
• SGDを用いて重み減衰とモーメンタムを伴ってネットワークを訓練し、両タスクを同時に最適化する。
• 距離予測の閾値処理（5以上）を実施し、最終的なバイナリセグメンテーションマスクを生成する。

実験結果

リサーチクエスチョン

• RQ1 距離変換を用いた境界情報の統合が、高分解能衛星画像におけるセマンティックセグメンテーション精度の向上に寄与するか？
• RQ2 不確実性重み付きマルチタスク学習は、等価重み付けや単一タスク学習に比べて、より良い一般化性能と境界保持性をもたらすか？
• RQ3 エンコーダアーキテクチャの選択（例：VGG16対浅いネットワーク）が、建物ポリゴンタスクにおけるセグメンテーション性能に与える影響はいかほどか？
• RQ4 マルチタスク損失を導入することで、後処理の必要性を軽減しつつ、IoUと境界のシャープネスを向上させられるか？
• RQ5 FCNとSegNetなどの異なるデコーダアーキテクチャを境界認識の監視と組み合わせた場合、セグメンテーション性能にどのような影響を与えるか？

主な発見

• 提案手法は、Inria Aerial Image Labeling Datasetの検証セットで平均70.14%のIoUを達成し、前回の最先端手法を8.3%上回った。
• VGG16をエンコーダとして使用することで、先行研究で用いられた浅いネットワークよりも顕著に高い性能を達成し、FCNベースの手法に比べ3.9%、浅いエンコーダーを搭載したSegNetに比べ5.0%の向上を示した。
• 不確実性重み付きマルチタスク損失は、交差エントロピー損失のみで訓練されたベースラインのSegNetに比べ、IoUを2.4%向上させ、動的損失バランスの利点を示した。
• 定性的な比較により、標準的なFCNやSegNetベースラインに比べ、『ボンボン状』の予測が減少し、よりシャープで正確な境界が得られていることが確認された。
• 単一の損失関数を用いた距離予測の追加により、アーキテクチャの変更なしにセグメンテーション性能が向上した。これは境界監視の価値を示している。
• 結果から、デコーダアーキテクチャが極めて重要な役割を果たしていることが明らかになった。SegNetベースのデコーダは、単純なFCNスタイルのデコーダーよりも5%以上のIoUで優れていた。