[論文レビュー] NL-LinkNet: Toward Lighter but More Accurate Road Extraction with Non-Local Operations

Yooseung Wang, Junghoon Seo+1 more|arXiv (Cornell University)|Aug 22, 2019

Automated Road and Building Extraction参考文献 26被引用数 9

ひとこと要約

本論文では、非常に高解像度の衛星画像からの道路抽出を目的とした、軽量かつ高精度なU-NetベースのアーキテクチャNL-LinkNetを提案する。非局所演算を活用することで、長距離の文脈的依存関係を捉える。エンコーダ・デコーダ構造に非局所ブロックを統合することで、NL-LinkNetは65.00%のmIOUを達成し、43%少ないパラメータ数、より低いGFLOPs、より速い収束速度を実現した。これは公式のDeepGlobeチャレンジ優勝者（D-LinkNet）を上回る結果である。

ABSTRACT

Road extraction from very high resolution satellite (VHR) images is one of the most important topics in the field of remote sensing. In this paper, we propose an efficient Non-Local LinkNet with non-local blocks that can grasp relations between global features. This enables each spatial feature point to refer to all other contextual information and results in more accurate road segmentation. In detail, our single model without any post-processing like CRF refinement, performed better than any other published state-of-the-art ensemble model in the official DeepGlobe Challenge. Moreover, our NL-LinkNet beat the D-LinkNet, the winner of the DeepGlobe challenge, with 43 \% less parameters, less giga floating-point operations per seconds (GFLOPs) and shorter training convergence time. We also present empirical analyses on the proper usages of non-local blocks for the baseline model.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの道路セグメンテーションにおいて、受容 field が小さいために生じる長距離文脈の制限を解消すること。
• 影、木、建物による部分的遮断が生じるVHR衛星画像において、道路抽出の精度を向上させること。
• 条件付き確率場（CRF）などの後処理に依存せずに、既存のSOTA手法よりも軽量なモデルを開発すること。
• 非局所ブロックの配置やペairwise関数設計が道路セグメンテーションに与える影響を実証的に評価すること。

提案手法

• すべての空間的位置に対する重み付き和として特徴表現を計算する非局所ブロックを導入し、グローバルな文脈モデリングを可能にする。
• リンクネットアーキテクチャの異なる段階（例：段階3または段階4）に非局所ブロックを統合することで、モデルの深さを増さずに特徴表現を強化する。
• 特徴間の注目重みを計算するために、埋め込みガウス関数を採用し、長距離依存関係のモデリングを改善する。
• 空間分解能を保持するためのスキップ接続を備えた残差エンコーダ（ResNet-34）をバックボーンとして採用する。
• 交差エントロピー損失とDice損失を組み合わせたエンドツーエンド学習により、セグメンテーション性能を最適化する。
• 単一または二重の非局所ブロック、および異なるペアワイズ関数（ドット積、ガウス、埋め込みガウス）を用いた複数の構成を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNN（受容 field が小さい）と比較して、非局所演算はVHR衛星画像における道路セグメンテーション精度を顕著に向上させるか？
• RQ2 ネットワークアーキテクチャのどの位置に非局所ブロックを配置すると、道路抽出において最も効果的か？
• RQ3 ペアワイズ関数（例：ドット積、ガウス、埋め込みガウス）の中で、非局所注目においてどの関数が最高のパフォーマンスを示すか？
• RQ4 CRFの後処理に依存せずに、単一の非局所モデルがアンサンブルベースのSOTAモデルを上回ることができるか？
• RQ5 非局所ブロックの統合により、拡張畳み込みベースのモデルと比較して、よりパラメータ効率的かつ速やかに収束するモデルが得られるか？

主な発見

• NL-LinkNetはDeepGlobeチャレンジのテストセットで65.00%のmIOUを達成し、公式1位のD-LinkNet（43%少ないパラメータ数）を上回った。
• D-LinkNet（134.45 B GFLOPs）およびPSANet（131.54 B GFLOPs）と比較して、NL-LinkNetは124.88 B GFLOPsの低さを実現し、より速やかに収束した。
• 段階4に非局所ブロックを追加したNL4-LinkNetは、ベースラインから1.33%のmIOU向上を達成した。二重非局所ブロック（NL34-LinkNet）では1.52%の向上が得られた。
• 埋め込みガウス関数は、すべての構成の中で最高のmIOU（64.59%）を達成し、ドット積（64.04%）およびガウス関数（64.23%）を上回った。
• NL-LinkNetは、DeepGlobeチャレンジで発表されたすべてのアンサンブルモデルを上回り、CRFの微調整なしに単一モデルがアンサンブル性能を凌駆することを示した。
• 可視化比較により、NL-LinkNetが複雑な都市部、湾曲道路、円形交差点など、局所的手法が遮蔽のため失敗する領域でも道路をよりよく検出できることを確認した。