[論文レビュー] Learning deep structured active contours end-to-end

Diego Marcos, Devis Tuia+5 more|arXiv (Cornell University)|Mar 16, 2018

Automated Road and Building Extraction参考文献 29被引用数 43

ひとこと要約

DSACはCNNを用いて活性輪郭モデルのエネルギー項を予測することにより局所的な幾何事前情報をエンドツーエンド訓練可能なフレームワークへ統合し、複数データセットで最先端の手法を上回る建物インスタンスセグメンテーションを実現する。

ABSTRACT

The world is covered with millions of buildings, and precisely knowing each instance's position and extents is vital to a multitude of applications. Recently, automated building footprint segmentation models have shown superior detection accuracy thanks to the usage of Convolutional Neural Networks (CNN). However, even the latest evolutions struggle to precisely delineating borders, which often leads to geometric distortions and inadvertent fusion of adjacent building instances. We propose to overcome this issue by exploiting the distinct geometric properties of buildings. To this end, we present Deep Structured Active Contours (DSAC), a novel framework that integrates priors and constraints into the segmentation process, such as continuous boundaries, smooth edges, and sharp corners. To do so, DSAC employs Active Contour Models (ACM), a family of constraint- and prior-based polygonal models. We learn ACM parameterizations per instance using a CNN, and show how to incorporate all components in a structured output model, making DSAC trainable end-to-end. We evaluate DSAC on three challenging building instance segmentation datasets, where it compares favorably against state-of-the-art. Code will be made available.

研究の動機と目的

• CNNベースの特徴学習と幾何形状の事前情報を橋渡しして、正確な建物のフットプリントを得る。
• エネルギー項を学習することでアクティブ輪郭モデルのエンドツーエンド訓練を可能にする。
• 局所的な画像依存事前情報を含む balloon、曲率、データ項を統一的なフレームワークに組み込む。
• 複数の建物データセットでDSACを評価し、最先端手法と比較する。

提案手法

• 建物を多角形として表現し、CNNを介して ACM の各インスタンスのエネルギー関数を学習する。
• D（データ項）、alpha（長さペナルティ）、beta（曲率ペナルティ）、kappa（バルーン）を画像依存マップとして予測する。
• 局所的な priors を ACM エネルギーに組み込み、エンドツーエンドの訓練ループで構造化 SVM 損失を用いて最適化する。
• 微分可能様の更新式を用いて等高線を推定する: y^{t+1} = (I + A + B)^{-1}(y^{t} - dE_ext/dy^{t}).
• IoUベースのタスク損失 Δ と最大マージ SSVM 目的関数を用いた損失拡張推論で訓練し、バックプロパゲーションでCNNの重みを更新する。
• D、alpha、beta、kappa がグローバル定数ではなくピクセル毎に学習される局所的にペナルティを課した ACM を利用する。

実験結果

リサーチクエスチョン

• RQ1 局所的で画像依存の priors は建物のインスタンスセグメンテーションの幾何学的正確さを向上させるか？
• RQ2 エンドツーエンド訓練可能なフレームワークでACMとCNNを統合すると、純粋なCNNベースのベースラインより良いインスタンスフットプリントを得られるか？
• RQ3 balloon項とピクセル単位の曲率/長さペナルティを含めることがセグメンテーション品質に与える影響は？
• RQ4 損失拡張推論を用いたエンドツーエンドのSSVMベース訓練はエネルギー項の学習にどのような影響を与えるか？

主な発見

Method	Vaihingen IoU	Bing huts IoU	Bing huts RMSE (m^2)
CNN Baseline	0.78	0.56	23.9
DSAC (ours)	0.84	0.65	13.4
DSAC (scalar κ , β)	0.64	0.60	19.1
DSAC (no κ)	0.63	0.42	31.2
DSAC (local α)	0.83	0.65	13.4

• DSACは Vaihingen および Bing huts における manual initialization シナリオでCNNベースラインより高い IoU を達成（IoU の改善は Table 1 に記載）。
• 局所ピクセル単位の beta および balloon priors はセグメンテーション品質を向上させる一方、グローバルな kappa の使用や kappa を省くと性能が低下する。
• TorontoCity automatic initialization で DSAC は参照手法（DWT、FCN、ResNet）より重み付けカバレッジと形状類似性を改善。
• Hybrid initialization（生データの DWT で訓練し、後処理 DWT でテスト）により TorontoCity 実験で最良の WeighCov/PolySim を達成。
• DSAC は contour の収束に対する balloon term の重要性と、鋭い角と直線的エッジのための局所 priors の重要性を示す。