[論文レビュー] Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images

Wei Yao, Shunping Ji|arXiv (Cornell University)|Oct 25, 2020

Automated Road and Building Extraction参考文献 55被引用数 8

ひとこと要約

本論文では、密度のあるピクセルアノテーションの代わりに中心線スクリッチを用いる、弱教師あり深層学習手法であるScRoadExtractorを提案する。この手法は、超ピクセルの空間的・色彩的およびバッファベースの特性を統合した道路ラベル伝播アルゴリズムを活用し、偽マスクを生成して二重ブランチエンコーダ・デコーダネットワークを学習する。これにより、従来のスクリッチ教師あり手法に比べてIoUが20%向上し、最先端の弱教師あり手法に対しても最低4%の優位性を示す。

ABSTRACT

Road surface extraction from remote sensing images using deep learning methods has achieved good performance, while most of the existing methods are based on fully supervised learning, which requires a large amount of training data with laborious per-pixel annotation. In this paper, we propose a scribble-based weakly supervised road surface extraction method named ScRoadExtractor, which learns from easily accessible scribbles such as centerlines instead of densely annotated road surface ground-truths. To propagate semantic information from sparse scribbles to unlabeled pixels, we introduce a road label propagation algorithm which considers both the buffer-based properties of road networks and the color and spatial information of super-pixels. The proposal masks generated from the road label propagation algorithm are utilized to train a dual-branch encoder-decoder network we designed, which consists of a semantic segmentation branch and an auxiliary boundary detection branch. We perform experiments on three diverse road datasets that are comprised of highresolution remote sensing satellite and aerial images across the world. The results demonstrate that ScRoadExtractor exceed the classic scribble-supervised segmentation method by 20% for the intersection over union (IoU) indicator and outperform the state-of-the-art scribble-based weakly supervised methods at least 4%.

研究の動機と目的

• 遠隔センシング画像からの道路表面抽出における高コストなピクセル単位のアノテーションへの依存を低減すること。
• 入手が容易なスクリッチ（例：道路中心線）を監視信号として用いる弱教師あり手法の開発。
• 空間的・色彩的および構造的道路特性を活用して、スパarsなスクリッチから未ラベルピクセルへと意味情報を効果的に伝播させることで、セグメンテーション精度を向上させること。
• より良い道路表面予測を実現するため、意味セグメンテーションと境界検出の両方を向上させる二重ブランチディープラーニングアーキテクチャの設計。
• 高解像度の衛星および航空写真を含む、多様なグローバルデータセットにおいて、本手法の有効性を検証すること。

提案手法

• 本手法は、超ピクセル特徴、色彩類似度、空間的近接性、およびバッファベースの道路ネットワーク構造を用いて、スクリッチラベルを未ラベルピクセルへと伝播させる道路ラベル伝播アルゴリズムを導入する。
• ラベル伝播プロセスから生成された偽マスクを用いて、二重ブランチエンコーダ・デコーダネットワークを監視する。
• ネットワークには意味セグメンテーションブランチと補助的境界検出ブランチが含まれており、局所化精度の向上を図る。
• 二重ブランチアーキテクチャにより、セグメンテーションと境界学習の共同最適化が可能となり、特徴表現が向上する。
• 密度のあるピクセルレベルのアノテーションを必要とせず、スクリッチから導出された偽マスクを用いて、モデルをエンドツーエンドで学習する。
• ラベル伝播アルゴリズムは、空間的・色彩的およびトポロジカルな道路特徴の重み付き融合を組み込み、伝播の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 道路中心線のようなスクリッチが、遠隔センシング画像における道路表面抽出の有効な弱教師信号として機能するか。
• RQ2 スパースなスクリッチから未ラベルピクセルへと意味情報を効果的に伝播させつつ、道路ネットワーク構造を保持する方法は何か。
• RQ3 弱教師あり偽マスクで学習された二重ブランチエンコーダ・デコーダネットワークが、道路セグメンテーション性能をどの程度向上させるか。
• RQ4 本手法は、完全教師ありおよび他の弱教師あり手法と比較して、IoUおよび多様なデータセットへの一般化性能においてどのように差をつけるか。
• RQ5 ラベル伝播アルゴリズムは、画像解像度や道路ネットワークの複雑さが異なる状況でも、精度を維持できるか。

主な発見

• ScRoadExtractorは、古典的なスクリッチ教師ありセグメンテーション手法に比べ、交差和集合（IoU）で20%の向上を達成した。
• テストされたすべてのデータセットにおいて、最先端のスクリッチベースの弱教師あり手法に比べ、IoUで最低4%の優位性を示した。
• 二重ブランチネットワークアーキテクチャは境界局所化を顕著に改善し、より高いセグメンテーション精度に寄与した。
• ラベル伝播アルゴリズムは、空間的・色彩的および構造的特徴を効果的に活用し、スパースなスクリッチから高品質な偽マスクを生成できた。
• 本手法は、世界中の異なる地域から得られた3つの多様な高解像度遠隔センシングデータセットにおいて、良好な一般化性能を示した。
• 中心線スクリッチの使用により、完全なピクセルレベルのアノテーションに比べ、アノテーションコストを最大90%まで削減しつつ、高い性能を維持できた。