[論文レビュー] DeepUNet: A Deep Fully Convolutional Network for Pixel-level Sea-Land Segmentation

Ruirui Li, Wenjie Liu+5 more|arXiv (Cornell University)|Sep 1, 2017

Advanced Neural Network Applications参考文献 14被引用数 31

ひとこと要約

本稿では、高分解能リモートセンシング画像におけるピクセル単位の海陸セグメンテーションのための、U接続およびプラス接続を備えた新しい完全畳み込みニューラルネットワーク、DeepUNetを提案する。エンコーダ・デコーダアーキテクチャにおいて標準的な畳み込み層の代わりにDownBlockとUpBlockを用いることで、特徴量の統合と境界の正確性が向上し、新たに収集されたデータセット上で最先端の性能を達成した。全体の正確度は99.04%、F1スコアは98.74%を記録した。

ABSTRACT

Semantic segmentation is a fundamental research in remote sensing image processing. Because of the complex maritime environment, the sea-land segmentation is a challenging task. Although the neural network has achieved excellent performance in semantic segmentation in the last years, there are a few of works using CNN for sea-land segmentation and the results could be further improved. This paper proposes a novel deep convolution neural network named DeepUNet. Like the U-Net, its structure has a contracting path and an expansive path to get high resolution output. But differently, the DeepUNet uses DownBlocks instead of convolution layers in the contracting path and uses UpBlock in the expansive path. The two novel blocks bring two new connections that are U-connection and Plus connection. They are promoted to get more precise segmentation results. To verify our network architecture, we made a new challenging sea-land dataset and compare the DeepUNet on it with the SegNet and the U-Net. Experimental results show that DeepUNet achieved good performance compared with other architectures, especially in high-resolution remote sensing imagery.

研究の動機と目的

• 複雑で多様な環境的要因が影響する高分解能リモートセンシング画像において、正確なピクセル単位の海陸セグメンテーションを実現すること。
• U-Net や SegNet などの既存のCNNベースの手法が、船や沿岸構造物などの微細な境界や小規模な特徴を処理する際に抱える限界を克服すること。
• リモートセンシング画像セグメンテーションに特化した、より効果的で対称的かつ効率的な完全畳み込みネットワークアーキテクチャを設計すること。
• 海陸セグメンテーションモデルのベンチマーク化を目的として、207枚の手動でアノテートされた高品質なデータセットを提供すること。

提案手法

• U-Netのエンコーダ・デコーダフレームワークに基づくが、特徴量学習の向上を目的にDownBlockとUpBlockを導入した新しいネットワークアーキテクチャ、DeepUNetを提案する。
• 2つの新しいスキップ接続を導入する：収縮路と拡張路からの特徴量を連結するU接続、および残留接続に類似した要素ごとの加算を行うプラス接続。
• 収縮路に用いるDownBlockは、ストライド付き畳み込みと残留接続を組み合わせ、特徴量をダウンサンプリングしつつ空間的詳細を保持する。
• 拡張路に用いるUpBlockは、逆畳み込みと残留接続を組み合わせ、特徴量をアップサンプリングし、セグメンテーション出力を精緻化する。
• ピクセル単位分類に適した高分解率の予測を維持するため、対称的で完全畳み込みの設計を採用する。
• 海と陸の領域の不均衡に対処するため、クラスバランスを考慮したバイナリクロスエントロピー損失を用いて、エンドツーエンドでネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 強化されたスキップ接続を備えた変更版U-Netアーキテクチャは、高分解能の海陸リモートセンシング画像におけるセグメンテーション精度を向上させることができるか？
• RQ2 標準的な畳み込み層と比較して、提案されたDownBlockおよびUpBlock構造は、ダウンサンプリングおよびアップサンプリングの過程で空間的・意味的特徴をどれほど効果的に保持できるか？
• RQ3 U接続およびプラス接続は、海陸セグメンテーションにおける特徴量統合と境界の正確性をどの程度向上させるか？
• RQ4 複雑な沿岸構造を有する新規に収集された困難なデータセットにおいて、DeepUNetはU-Net や SegNet といった既存のモデルと比較してどの程度の性能を示すか？
• RQ5 提案されたアーキテクチャは、船や洋上施設などの小規模な物体や複雑な構造物に対しても一般化性能を示すことができるか？

主な発見

• DeepUNetは、全85枚のテストセットにおいて、全体の正確度99.04%、F1スコア98.74%を達成し、U-Net（97.57%正確度、97.05% F1）およびSegNet（97.81%正確度、97.01% F1）を大きく上回った。
• 複雑な構造を有する港の画像において、DeepUNetは全体の正確度97.50%、F1スコア95.39%を達成した。これに対してU-Netは85.70%および78.27%、SegNetは94.92%および90.35%であった。
• U接続およびプラス接続機構により、標準的なU-Netと比較して、小規模領域およびエッジ領域における誤分類が顕著に減少した。
• DeepUNetは、船や沿岸構造物などの微細な詳細のセグメンテーションにおいて優れた性能を示し、U-NetやSegNetは顕著な誤検出や欠落を示した。
• 特定の港の画像において、DeepUNetは全体の正確度98.14%、F1スコア96.02%を達成し、U-Netは正確度で3.65ポイント、F1スコアで4.8ポイントの優位性を示した。
• アブレーションスタディの結果、DownBlock、UpBlock、および二重スキップ接続（U接続およびプラス接続）の組み合わせが最適な性能を発揮するために不可欠であることが確認され、各構成要素が特徴表現の向上に寄与していた。