[論文レビュー] Gated Feedback Refinement Network for Coarse-to-Fine Dense Semantic Image Labeling

Md Amirul Islam, Mrigank Rochan+3 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Neural Network Applications参考文献 55被引用数 20

ひとこと要約

本稿では、局所的およびグローバルなコンテキストを統合し、曖昧性を解消するためにゲーティングフィードバック接続を用いて、粗いものから細かいものへ段階的に予測を精錬する、Gated Feedback Refinement Network (G-FRNet) という新しいエンコーダ・デコーダアーキテクチャを提案する。この手法は、CamVid および Horse-Cow Parsing で最先端の性能を達成しており、PASCAL VOC 2012、PASCAL-Person-Part、SUN-RGBD データセットでも競争力のある結果を示しており、ゲーティング機構とディープスーパービジョンの有効性が裏付けられている。

ABSTRACT

Effective integration of local and global contextual information is crucial for semantic segmentation and dense image labeling. We develop two encoder-decoder based deep learning architectures to address this problem. We first propose a network architecture called Label Refinement Network (LRN) that predicts segmentation labels in a coarse-to-fine fashion at several spatial resolutions. In this network, we also define loss functions at several stages to provide supervision at different stages of training. However, there are limits to the quality of refinement possible if ambiguous information is passed forward. In order to address this issue, we also propose Gated Feedback Refinement Network (G-FRNet) that addresses this limitation. Initially, G-FRNet makes a coarse-grained prediction which it progressively refines to recover details by effectively integrating local and global contextual information during the refinement stages. This is achieved by gate units proposed in this work, that control information passed forward in order to resolve the ambiguity. Experiments were conducted on four challenging dense labeling datasets (CamVid, PASCAL VOC 2012, Horse-Cow Parsing, PASCAL-Person-Part, and SUN-RGBD). G-FRNet achieves state-of-the-art semantic segmentation results on the CamVid and Horse-Cow Parsing datasets and produces results competitive with the best performing approaches that appear in the literature for the other three datasets.

研究の動機と目的

• 密なセマンティック画像ラベリングにおける局所的詳細とグローバルコンテキストのバランスをとる課題に対処すること。
• 深層ネットワークにおけるエンコーディング段階での特徴の曖昧性と空間解像度の損失という制限を克服すること。
• 深層層からのゲーティングフィードバックを用いて粗い予測を繰り返し精錬することで、セグメンテーションの正確性を向上させること。
• 特徴の流れを調整することで曖昧性を解消するための新しいゲーティング機構の有効性を示すこと。
• 訓練の安定性と性能を向上させるために、複数段階でのディープスーパービジョンを提供すること。

提案手法

• 低解像度から高解像度へ段階的に予測を精錬する粗いものから細かいものへの精錬フレームワークを提案する。
• エンコーダからデコーダへの特徴の流れを調整するゲートユニットを導入し、曖昧性を解消するための関連する特徴を効果的に通す。
• 乗算ゲーティング（要素ごとの積）を用い、高レベルのコンテキストに基づいて誤った表現を抑制し、正しい表現を強調する。
• エンコーダとデコーダの層間のスキップ接続を採用し、初期の特徴マップからの空間的詳細を保持する。
• 訓練をガイドし収束性を向上させるために、複数の段階でディープスーパービジョン損失を適用する。
• 任意の順方向畳み込みネットワークに、学習可能なゲートを持つ再帰的のようなフィードバックパスを追加することで、精錬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ゲーティングフィードバックを用いた粗いものから細かいものへの精錬戦略は、標準的なエンコーダ・デコーダネットワークを上回る密な画像ラベリングを実現できるか？
• RQ2 高レベルのコンテキストを用いて、初期の低解像度特徴からの曖昧性を乗算ゲーティング機構で効果的に解消できるか？
• RQ3 複数段階でのディープスーパービジョンは、セマンティックセグメンテーションモデルの性能と安定性を向上させるか？
• RQ4 提案されたアーキテクチャは、オブジェクトのスケールやシーンの複雑さが異なる多様なデータセットに一般化可能か？
• RQ5 スキップ接続とゲーティングフィードバックは、セマンティックセグメンテーションにおける誤差伝搬をどの程度低減できるか？

主な発見

• G-FRNet は、mIoU 71.6% を達成し、CamVid データセットで最先端の性能を示した。
• Horse-Cow Parsing データセットでは、mIoU 86.3% を達成し、先行手法を上回った。
• PASCAL VOC 2012 では、検証セットで 68.7% の mIoU を達成し、ベースラインの Label Refinement Network (LRN) に比べて顕著に優れていた（66.76%）。
• アブレーションスタディの結果、乗算ゲーティング機構が加法的相互作用よりも優れていることが確認され、mIoU が 1.94 パcentage ポints 向上した。
• 定性的な結果では、照明条件の変化にかかわらず、柱のポール、歩行者、自転車などの細部の局所化が向上していることが示された。
• モデルはデータセット間での一般化性が強く、アーキテクチャの変更なしに PASCAL-Person-Part および SUN-RGBD でも競争力ある結果を達成した。