[論文レビュー] Improving Semantic Segmentation via Dilated Affinity

Boxi Wu, Shuai Zhao+3 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワークが同時にセマンティックラベルと疎且つ構造的なピクセル間類似度（dilated affinity）を予測するように共同で学習することで、セマンティックセグメンテーションの性能を向上させる、単純だが効果的な手法であるdilated affinityを提案する。dilated affinityにより、ピクセル間の長距離で構造的な関係を直接的に監視することで、特徴表現が向上し、推論段階で高速かつ後処理的に特徴を微調整できる。PASCAL VOC 2012およびCityscapesで最先端の性能を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Introducing explicit constraints on the structural predictions has been an effective way to improve the performance of semantic segmentation models. Existing methods are mainly based on insufficient hand-crafted rules that only partially capture the image structure, and some methods can also suffer from the efficiency issue. As a result, most of the state-of-the-art fully convolutional networks did not adopt these techniques. In this work, we propose a simple, fast yet effective method that exploits structural information through direct supervision with minor additional expense. To be specific, our method explicitly requires the network to predict semantic segmentation as well as dilated affinity, which is a sparse version of pair-wise pixel affinity. The capability of telling the relationships between pixels are directly built into the model and enhance the quality of segmentation in two stages. 1) Joint training with dilated affinity can provide robust feature representations and thus lead to finer segmentation results. 2) The extra output of affinity information can be further utilized to refine the original segmentation with a fast propagation process. Consistent improvements are observed on various benchmark datasets when applying our framework to the existing state-of-the-art model. Codes will be released soon.

研究の動機と目的

• 既存手法がセマンティックセグメンテーションにヒューリスティックで手作業で設計された構造的バイアスに依存するという限界を是正すること。
• ピクセル間の構造的関係を直接的な監視により明示的にモデル化することで、セグメンテーション性能を向上させること。
• 追加のアノテーションや複雑な後処理を必要とせず、トレーニングおよび推論の両方を軽量化する効率的で軽量な手法を開発すること。
• dilated affinityを介して構造的インダクティブバイアスをネットワークに統合することで、多様なベンチマークで一貫した性能向上を実現すること。

提案手法

• 本手法は、セマンティックセグメンテーションとdilated affinity（ペアワイズピクセル類似度の疎で構造的なバージョン）を同時に予測する二重出力のネットワークを導入する。
• dilated affinityは、中心ピクセルと複数の戦略的に選ばれた拡張率（例：8, 16, 32, 64）を持つ隣接ピクセルとの間に計算され、局所性を保ちながら長距離依存性を捉える。
• モデルは、交差エントロピー損失（セマンティックセグメンテーション用）と重み付き損失（類似度予測用）の組み合わせにより訓練され、重み付け方式（例：平方根リウェイト）は交差検証により最適化される。
• トレーニング後、予測された類似度マップを用いて高速で反復的な類似度伝搬（affinity propagation）を実行し、初期のセグメンテーション予測を微調整する。
• 伝搬段階では、予測された類似度の構造的一致性を活用してノイズの多い予測を平滑化し、オブジェクト境界を鋭くする。
• 本手法は、既存の最先端モデル（例：DeepLabv3+）と互換性があり、アーキテクチャの変更は最小限で、追加計算コストも無視できる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の構造的関係に対する明示的監視は、セマンティックセグメンテーション性能の向上に寄与するか？
• RQ2 dilated affinityは、密なCRFやヒューリスティックな損失リウェイトと比較して、意味のある画像構造をどれほど効果的に捉えられるか？
• RQ3 類似度学習および伝搬における最適な拡張率と重み付け方式の設定は何か？
• RQ4 予測された類似度マップは、高速かつ後処理的に効果的にセグメンテーション結果を微調整するために利用可能か？
• RQ5 セグメンテーションと類似度の共同学習は、標準的な学習のみに比べて、より優れた特徴表現を生み出すか？

主な発見

• PASCAL VOC 2012では、提案手法がmIoU 79.21%を達成し、ベースラインのDeepLabv3+より1.28ポイント高い性能を示した。
• Cityscapesでは、mIoUをベースラインの77.15%から78.70%まで向上させ、複数のデータセットで一貫した向上を確認した。
• 予測された類似度マップを用いた類似度伝搬により、10イテレーションでmIoUが78.62%から79.21%に向上し、微調整の有効性を示した。
• 正解の類似度マップを用いた伝搬ではさらに高い性能（mIoU 83.59%）が得られ、予測された類似度が貴重な構造的情報を含んでいることを確認した。
• 特に大きな拡張率において、sqrt-reweighting方式がneighbor-reweightingよりも優れた性能を示した。
• 最良の性能は、{8, (12,24), 16}という拡張率の組み合わせで達成され、多スケールで非対称な受容 field が多様な構造的パターンを捉えるのに有益であることが示された。