[論文レビュー] Learning to Predict Context-adaptive Convolution for Semantic Segmentation

Jianbo Liu, Junjun He+3 more|arXiv (Cornell University)|Apr 17, 2020

Advanced Neural Network Applications参考文献 48被引用数 7

ひとこと要約

本論文では、グローバルコンテキストから予測されるコンテキスト適応型畳み込みカーネルを用いて、空間的に変化する特徴再重み付けを学習するコンテキスト適応型畳み込みネットワーク（CaC-Net）を提案する。効率的な行列乗算ベースのカーネル予測メカニズムを用いることで、CaC-NetはPASCAL Context、PASCAL VOC 2012、ADE20Kで最先端の性能を達成し、それぞれmIoUが85.1%、85.1%、46.12%を達成した。

ABSTRACT

Long-range contextual information is essential for achieving high-performance semantic segmentation. Previous feature re-weighting methods demonstrate that using global context for re-weighting feature channels can effectively improve the accuracy of semantic segmentation. However, the globally-sharing feature re-weighting vector might not be optimal for regions of different classes in the input image. In this paper, we propose a Context-adaptive Convolution Network (CaC-Net) to predict a spatially-varying feature weighting vector for each spatial location of the semantic feature maps. In CaC-Net, a set of context-adaptive convolution kernels are predicted from the global contextual information in a parameter-efficient manner. When used for convolution with the semantic feature maps, the predicted convolutional kernels can generate the spatially-varying feature weighting factors capturing both global and local contextual information. Comprehensive experimental results show that our CaC-Net achieves superior segmentation performance on three public datasets, PASCAL Context, PASCAL VOC 2012 and ADE20K.

研究の動機と目的

• 画像の異なる領域における空間的に変化するコンテキスト的要件を反映しない、グローバルに共有される特徴再重み付けの限界を解消すること。
• 空間的に適応的な特徴変調を統合することで、グローバルおよびローカルのコンテキスト情報を組み合わせて、セマンティックセグメンテーションの精度を向上させること。
• 空間的に変化する特徴再重み付け要因を生成するための、パラメータ効率の良い方法を考案し、過剰なパラメータを追加しないこと。
• 複数のベンチマークデータセットで最先端の性能を達成するとともに、計算およびメモリ効率を維持すること。

提案手法

• グローバルコンテキストから予測される空間的に変化する畳み込みカーネルを用いたコンテキスト適応型畳み込み（CaC）モジュールを提案し、軽量でパラメータ効率の良いメカニズムを用いる。
• 全結合層の代わりに行列乗算を用いてCaCカーネルのパラメータを生成することで、パラメータ数と計算コストを削減する。
• 予測されたカーネルを用いた深度分離畳み込みを適用し、入力特徴マップを変調する空間的に変化する特徴再重み付けマップを生成する。
• 複数の拡張率を用いた膨張型深度分離畳み込みを統合し、マルチスケールのコンテキスト情報を捉える。
• 交差エントロピー損失とDice損失を用いてセマンティックセグメンテーションの監視を行い、ResNet101バックボーンを用いてエンドツーエンド最適化で学習する。
• セグメンテーションネットワークのデコーダパスにCaCモジュールを統合し、複数スケールでの特徴表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 空間的に変化する特徴再重み付けは、グローバルに共有される再重み付け戦略を上回るセマンティックセグメンテーション性能を実現できるか？
• RQ2 モデルの複雑さを増加させることなく、グローバルコンテキスト情報を効率的に活用して、場所に特化した特徴変調を生成できるか？
• RQ3 提案されたコンテキスト適応型畳み込みメカニズムは、標準ベンチマークで既存のアテンションおよび再重み付けモジュールを上回る性能を示すか？
• RQ4 CaC-Netは、シーンの複雑さやカテゴリの多様性が異なる多様なデータセットに一般化可能か？

主な発見

• PASCAL VOC 2012テストセットにおいて、CaC-NetはCOCO事前学習なしで、すべての先行手法を上回るmIoU 85.1%を達成した。
• PASCAL Contextデータセットでは、CaC-NetはmIoU 85.1%を達成し、長尾分布および細粒度カテゴリにおいて優れた性能を示した。
• ADE20Kデータセットでは、ResNet101バックボーンを用いてmIoU 46.12%を達成し、同バックボーンを用いたすべての先行手法を上回った。
• 可視化結果から、予測された空間的に変化する重みが、水辺の風景における船や都市部における建物といったクラス固有の領域を効果的に強調していることがわかった。
• アブレーションスタディの結果、提案されたCaCモジュールはベースラインモデルおよび標準的なアテンション機構よりも顕著に性能を向上させた。
• パラメータ効率の良いカーネル予測メカニズムにより、標準的なダイナミック畳み込みアプローチと比較して、モデルサイズと推論コストが削減された。