[論文レビュー] CaseNet: Content-Adaptive Scale Interaction Networks for Scene Parsing

Xin Jin, Cuiling Lan+3 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Image and Video Retrieval Techniques参考文献 89被引用数 5

ひとこと要約

本論文は、文脈に応じたスケール相互作用を可能にするCASINetを提案する。このネットワークは、文脈的スケール相互作用（CSI）モジュールとスケール適応（SA）モジュールを用いて、空間的に適応的なフィルタリングとソフトでコンテンツに適応したスケール選択を可能にすることで、Cityscapes（82.75% mIoU）、ADE20K（45.61% mIoU）、LIP（55.14% mIoU）ベンチマークで最先端の性能を達成する。

ABSTRACT

Objects at different spatial positions in an image exhibit different scales. Adaptive receptive fields are expected to capture suitable ranges of context for accurate pixel level semantic prediction. Recently, atrous convolution with different dilation rates has been used to generate features of multi-scales through several branches which are then fused for prediction. However, there is a lack of explicit interaction among the branches of different scales to adaptively make full use of the contexts. In this paper, we propose a Content-Adaptive Scale Interaction Network (CASINet) to exploit the multi-scale features for scene parsing. We build CASINet based on the classic Atrous Spatial Pyramid Pooling (ASPP) module, followed by a proposed contextual scale interaction (CSI) module, and a scale adaptation (SA) module. Specifically, in the CSI module, for each spatial position of some scale, instead of being limited by a fixed set of convolutional filters that are shared across different spatial positions for feature learning, we promote the adaptivity of the convolutional filters to spatial positions. We achieve this by the context interaction among the features of different scales. The SA module explicitly and softly selects the suitable scale for each spatial position and each channel. Ablation studies demonstrate the effectiveness of the proposed modules. We achieve state-of-the-art performance on three scene parsing benchmarks Cityscapes, ADE20K and LIP.

研究の動機と目的

• シーン解析におけるスケール変動に対処するための固定受容野を有するCNNの限界を解決すること。
• 既存のマルチスケールネットワークにおける固定畳み込みフィルタと静的特徴統合の硬直性を克服すること。
• スケール間の文脈と空間チャネル適応性を活用して、コンテンツに応じた特徴の微調整とスケール選択を可能にすること。
• スケール相互作用と適応的統合を明示的にモデル化することで、多様なベンチマークにおけるセマンティックセグメンテーションの精度を向上させること。
• 重いアーキテクチャ的変更を要せず、標準的なASPPを効果的に拡張する軽量だが効果的なモジュールの開発

提案手法

• 異なる率を用いた膨張畳み込みを用いて、空洞空間的プールィング（ASPP）モジュールに基づきマルチスケール特徴を生成する。
• スケール間の非局所演算を用いて、重み付き統合によりマルチスケール特徴から適応的フィルタ応答を計算する文脈的スケール相互作用（CSI）モジュールを導入する。
• CSIで、空間的位置とコンテンツ相関に基づき、動的に異なるスケールからの特徴を組み合わせるための学習可能な注意重みを用いる。
• 各特徴マップの位置に対して、最も適切なスケールを空間的およびチャネルワイドにソフトに選択するスケール適応（SA）モジュールを提案する。
• SAで、注意重みを用いた学習可能な統合メカニズムを採用し、文脈的に適切な表現を生成する。
• ASPPの後段にCSIおよびSAモジュールを統合し、最終的な畳み込みとソフトマックス層を追加してピクセル単位のセマンティック予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 局所的文脈とスケール間相関に基づいて、マルチスケール特徴を適応的に微調整することで、特徴表現を向上させることができるか？
• RQ2 固定統合ではなく、各空間的位置とチャネルに対して最適なスケールを動的に選択できるか？
• RQ3 スケール間のコンテンツに適応した相互作用は、固定または非適応的統合と比較して、シーン解析ベンチマークでの性能向上に寄与するか？
• RQ4 提案されたモジュールは、スケール分布やオブジェクトの複雑さが異なる多様なデータセットにおいて性能を向上させることができるか？
• RQ5 CSIおよびSAモジュールの統合は、オクルージョンやスケールの重複といった困難な状況下でのモデルのロバスト性と精度にどのように影響を与えるか？

主な発見

• Cityscapes検証セットでは82.75% mIoUを達成し、以前の最先端手法を上回った。
• ADE20K検証セットでは45.61% mIoUを達成し、ベースライン（43.67%）より1.94%向上、かつ以前のSOTAより0.16%向上した。
• LIPデータセットでは55.14% mIoUを達成し、ベースラインより3.73%向上、かつ以前のSOTA（CE2Pを用いた53.10%）より2.01%向上した。
• アブレーションスタディの結果、CSIおよびSAモジュールの両方が性能向上に顕著な寄与をしていることが確認され、CSIは特徴微調整を向上させ、SAは効果的なスケール選択を可能にした。
• ImageNetの事前学習を用いない状態でも最先端の結果を達成しており、提案モジュールの独立した有効性を示している。
• 強力な性能を発揮する一方で、オクルージョンや重複するオブジェクトの処理においては、スケール相互作用がカテゴリ境界での識別性を低下させる可能性があるという限界も示された。