[論文レビュー] DARNet: Deep Active Ray Network for Building Segmentation

Dominic Cheng, Renjie Liao+2 more|arXiv (Cornell University)|May 15, 2019

Advanced Neural Network Applications参考文献 5被引用数 13

ひとこと要約

DARNetは、自己交差を回避し境界適合性を向上させるために極座標パrameter化された輪郭を用いる深層アクティブレイヤー・ネットワークを提案する。CNNがエネルギーマップを予測し、輪郭の進化をエンドツーエンドで最適化することで、3つのデータセットで最先端または競争力ある性能を達成し、従来のDSACなどの手法と比較して境界適合性が向上し、自己交差が減少した。

ABSTRACT

In this paper, we propose a Deep Active Ray Network (DARNet) for automatic building segmentation. Taking an image as input, it first exploits a deep convolutional neural network (CNN) as the backbone to predict energy maps, which are further utilized to construct an energy function. A polygon-based contour is then evolved via minimizing the energy function, of which the minimum defines the final segmentation. Instead of parameterizing the contour using Euclidean coordinates, we adopt polar coordinates, i.e., rays, which not only prevents self-intersection but also simplifies the design of the energy function. Moreover, we propose a loss function that directly encourages the contours to match building boundaries. Our DARNet is trained end-to-end by back-propagating through the energy minimization and the backbone CNN, which makes the CNN adapt to the dynamics of the contour evolution. Experiments on three building instance segmentation datasets demonstrate our DARNet achieves either state-of-the-art or comparable performances to other competitors.

研究の動機と目的

• 航空画像のセマンティックおよびインスタンスセグメンテーションにおける深層学習ベースの手法で、建物境界の正確な区別が難しいという課題に対処すること。
• 自己交差やエネルギー最適化の複雑さといった従来のアクティブ輪郭モデルの限界を、極座標（レイベース）パrameter化によって克服すること。
• CNNと輪郭進化プロセスの両方をエンドツーエンドで学習可能にする微分可能フレームワークを設計すること。
• 地面真値の建物境界と一致するように輪郭を促進する新たな損失関数を導入すること。
• 特に都市部や災害影響地域において、複雑で密集した建物のセグメンテーション品質を向上させること。

提案手法

• 自己交差を排除しエネルギー関数の設計を単純化するために、デカルト座標ではなく極座標（レイ）を用いて輪郭を表現する。
• 深層CNNバックボーンを用いて、データ項（D）、曲率項（β）、バルーン項（κ）の3つのエネルギーマップを予測し、輪郭進化をガイドする。
• 極座標パラメータ化に基づく勾配降下を用いてエネルギー最小化により輪郭を進化させ、微分可能な最適化を可能にする。
• 地面真値の建物エッジと一致しない輪郭点をペナルティ化する、新たな損失関数を導入し、境界精度を直接的に監視する。
• 大規模または複雑な建物のセグメンテーションを向上させるために、1枚の画像に対して複数の初期化をサポートし、最終予測のための統合戦略を採用する。
• CNNとエネルギー最小化プロセスの両方に勾配をバックプロパゲートすることで、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 アクティブ輪郭の極座標パラメータ化は、建物セグメンテーションにおける境界適合性の向上と自己交差の排除に寄与するか？
• RQ2 CNNと輪郭進化をエンドツーエンドで学習させることで、地面真値の建物境界との一致が向上するか？
• RQ3 提案されたエネルギー関数と損失設計は、既存のアクティブ輪郭法および深層学習手法と比較して、セグメンテーション精度においてどのように差をつけるか？
• RQ4 複数の初期化は、都市環境における大規模または複雑な建物のセグメンテーションにどの程度寄与するか？
• RQ5 本手法は、建物形状や画像品質が異なる多様なデータセットに一般化可能か？

主な発見

• DARNetは、Vaihingen、Bing Huts、TorontoCityの3つのベンチマークデータセットで最先端または競争力ある性能を達成した。
• Vaihingenデータセットでは、mIOUが83.4%に達し、DSACや他の最先端手法を上回った。
• TorontoCityでは、DSACよりも高いmIOUを達成し、境界F1（BoundF）指標で顕著な向上を示し、境界適合性の向上を裏付けた。
• 複数の初期化の使用により、大規模な商業・工業施設のセグメンテーション性能が向上し、未分離の低減とカバレッジの向上が見られた。
• 定性的な結果から、DARNetの輪郭は建物エッジにきめ細かく適合しており、自己交差を回避している一方、DSACでは一部のケースで自己交差が生じていることが確認された。
• 失敗事例として、不確実性が生じた場合に隣接建物に過剰に拡張してしまうケースや、複雑なレイアウトを有する大規模で特徴豊富な商業用地で混乱が生じるケースが観察された。