[論文レビュー] Beyond Forward Shortcuts: Fully Convolutional Master-Slave Networks (MSNets) with Backward Skip Connections for Semantic Segmentation

Abrar H. Abdulnabi, Stefan Winkler+1 more|arXiv (Cornell University)|Jul 18, 2017

Multimodal Machine Learning Applications参考文献 37被引用数 5

ひとこと要約

本論文では、後向きスキップ接続を備えた完全畳み込みマスタースレーブネットワーク（MSNet）を提案する。マスターネットの低レベル層に、スレーブネットから高レベルの文脈的特徴をフィードバックすることで、特徴抽出の質を向上させる。この手法により、ADE20K、PASCAL-Context、PASCAL VOC 2011の3つのベンチマークで最先端の性能を達成し、順方向スキップのみのベースラインを上回った。

ABSTRACT

Recent deep CNNs contain forward shortcut connections; i.e. skip connections from low to high layers. Reusing features from lower layers that have higher resolution (location information) benefit higher layers to recover lost details and mitigate information degradation. However, during inference the lower layers do not know about high layer features, although they contain contextual high semantics that benefit low layers to adaptively extract informative features for later layers. In this paper, we study the influence of backward skip connections which are in the opposite direction to forward shortcuts, i.e. paths from high layers to low layers. To achieve this -- which indeed runs counter to the nature of feed-forward networks -- we propose a new fully convolutional model that consists of a pair of networks. A `Slave' network is dedicated to provide the backward connections from its top layers to the `Master' network's bottom layers. The Master network is used to produce the final label predictions. In our experiments we validate the proposed FCN model on ADE20K (ImageNet scene parsing), PASCAL-Context, and PASCAL VOC 2011 datasets.

研究の動機と目的

• 標準的なFCNでは、特徴抽出中に低レベル層が高レベルの文脈を認識できないという制限を解消すること。
• 高レベルから低レベルへの特徴伝達（後向きスキップ接続）が、セマンティックセグメンテーション性能を向上させるかどうかを調査すること。
• サイクル的依存関係を生じさせることなく、後向き情報伝播を可能にする学習可能でエンドツーエンドの完全畳み込みアーキテクチャを設計すること。
• ネットワークが本質的に順方向であるにもかかわらず、高レベル特徴が低レベル特徴学習に有益であることを実証すること。

提案手法

• モデルは2つの同一のFCN-8sネットワークから構成され、最終予測はマスターネットが担当し、スレーブネットは後向きスキップ接続を提供する。
• 後向きスキップ接続により、スレーブネットの高レベル層の特徴マップが、マスターネットの対応する低レベル層に伝達される。
• マスターネットは、元のpool3およびpool4のスキップ接続に加え、追加の順方向スキップ接続を備える。
• MSNet全体はエンドツーエンドで学習され、スレーブネットは出力を生成せず、特徴フィードバックのみを実行する。
• スレーブの上位層からの特徴マップはアップサンプリングされ、マスターネットの低レベル特徴と連結されて、初期表現が豊かにされる。
• 予測パスとフィードバックパスを分離することで、前向き構造を保ちつつサイクル的依存関係を回避する。

実験結果

リサーチクエスチョン

• RQ1 高レベルから低レベルへの後向きスキップ接続が、完全畳み込みネットワークにおけるセマンティックセグメンテーション性能を向上させるか？
• RQ2 低レベル層に高レベルの文脈的情報を提供することで、初期層におけるより情報豊かな特徴学習が可能になるか？
• RQ3 FCNにおける標準的な順方向スキップ接続と比較して、後向きスキップ接続の性能はどのように異なるか？
• RQ4 標準的なFCNに後向きスキップ接続を統合しても、順方向計算グラフが破壊されないか？
• RQ5 提案されたMSNetアーキテクチャは、CRFのような既存の文脈モデリング技術と相乗効果を上げるか？

主な発見

• 後向きスキップ接続のみを用いたMSNet-FB2は、すべての3つのデータセットでFCN-8s-F1およびFCN-8s-F2を上回り、後向き接続の有効性を示した。
• PASCAL-Contextの検証セットでは、MSNet-FB1が73.0%のピクセル精度、53.5%のクラス精度、42.1%の交差率（IoU）を達成し、FCN-8sおよび他のベースラインを上回った。
• ADE20Kの検証セットでは、MSNet-FB2が75.7%のピクセル精度および33.8%のIoUを達成し、同ベンチマークでFCN-8sおよび他の手法を上回った。
• PASCAL VOC 2011のテストセットでは、MSNet-FB2が70.5%のIoUを達成し、FCN-8s（62.7%）を顕著に上回り、最先端の手法に近い性能を示した。
• 完全連結CRFを組み合わせたMSNet-FB2+CRFは、MSNet-FB2単体と比較して1.0%の向上を達成し、既存の文脈モデリング技術と相乗効果を上げることが確認された。
• 結果から、高レベル特徴が、標準的な順方向ネットワークアーキテクチャでさえも、低レベル特徴抽出の条件付けに顕著に寄与することが示された。