[論文レビュー] Learning a Discriminative Feature Network for Semantic Segmentation

Changqian Yu, Jingbo Wang+4 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 33被引用数 88

ひとこと要約

Discriminative Feature Network (DFN) を導入し、クラス内の一貫性を滑らかにする Smooth Network とクラス間の識別を強化する Border Network を組み合わせ、後処理なしで VOC 2012 および Cityscapes において最先端の結果を達成。

ABSTRACT

Most existing methods of semantic segmentation still suffer from two aspects of challenges: intra-class inconsistency and inter-class indistinction. To tackle these two problems, we propose a Discriminative Feature Network (DFN), which contains two sub-networks: Smooth Network and Border Network. Specifically, to handle the intra-class inconsistency problem, we specially design a Smooth Network with Channel Attention Block and global average pooling to select the more discriminative features. Furthermore, we propose a Border Network to make the bilateral features of boundary distinguishable with deep semantic boundary supervision. Based on our proposed DFN, we achieve state-of-the-art performance 86.2% mean IOU on PASCAL VOC 2012 and 80.3% mean IOU on Cityscapes dataset.

研究の動機と目的

• マクロな視点でセマンティックセグメンテーションを再構築し、クラス内の一貫性とクラス間の識別を強調する。
• スケール間で頑健で識別的な特徴を同時に学習し、セマンティック境界に沿っても学習するネットワークを開発する。
• グローバルコンテキスト、チャネルごとの注意機構、明示的なセマンティック境界の監督を統合してセグメンテーション精度を向上させる。）

提案手法

• Smooth Network を global average pooling を用いた U/V 字形のバックボーンと、スケール全体から識別的特徴を選択する Channel Attention Block を用いて提案する。
• Border Network を深い監督とセマンティック境界損失（ focal loss ）で導入し、境界におけるクラス間識別を強化する。
• Refinement Residual Blocks を用いてチャネル次元を統一し、段階間の特徴を洗練させる。
• Smooth Network と Border Network を双方向・階層的な洗練フレームワークで統合する（セグメンテーションは上位-down、境界は下位-up の形で）。
• ジョイント損失 L = ell_s + lambda * ell_b により最適化し、セグメンテーションと境界監督のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の方法と比較して、セグメンテーションのマクロな視点はクラス内の一貫性とクラス間の識別を改善できるか。
• RQ2 Smooth Network と Border Network が、それぞれグローバルコンテキストとセマンティック境界を活用して標準ベンチマークの Mean IoU を改善するか。
• RQ3 チャネル注意、グローバルプーリング、深層監視、境界監督の影響は最終的なセグメンテーション性能にどのように影響するか。

主な発見

データセット	手法	平均 IoU (%)
PASCAL VOC 2012 (test)	DFN (final)	86.2
Cityscapes (test)	DFN (final)	80.3

• DFN は COCO 微調整後のテストセットで 86.2% の Mean IoU を達成し、PASCAL VOC 2012 で最先端の結果を示す。
• DFN は Cityscapes テストセットで 80.3% の Mean IoU を達成。
• Global pooling と Channel Attention Block を備えた Smooth Network は Mean IoU を大幅に改善し、例えばアブレーションで 72.86% から 79.54% へ向上。
• セマンティック境界監督を備えた Border Network は更なる向上を提供し、79.54% から 79.67% へ精度を向上。
• マルチスケール入力と水平反転（MS_Flip）は VOC2012 テストで構成に応じて 80.01–80.60% へと性能をさらに引き上げ。
• DFN は DenseCRF などの後処理を必要とせず、データセット間で堅牢な改善を示す。