[論文レビュー] AlignSeg: Feature-Aligned Segmentation Networks

Zilong Huang, Yunchao Wei+4 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 54被引用数 8

ひとこと要約

本稿では、マルチスケール特徴抽出と文脈的特徴融合における特徴の不整合問題に対処する新しい意味理解セグメンテーションネットワーク、AlignSegを提案する。Aligned Feature Aggregation (AlignFA) および Aligned Context Modeling (AlignCM) モジュールに学習可能な2次元変換オフセットを導入することで、Cityscapesで82.6%のmIoU、ADE20Kで45.95%のmIoUを達成し、最先端の性能を実現した。

ABSTRACT

Aggregating features in terms of different convolutional blocks or contextual embeddings has been proven to be an effective way to strengthen feature representations for semantic segmentation. However, most of the current popular network architectures tend to ignore the misalignment issues during the feature aggregation process caused by 1) step-by-step downsampling operations, and 2) indiscriminate contextual information fusion. In this paper, we explore the principles in addressing such feature misalignment issues and inventively propose Feature-Aligned Segmentation Networks (AlignSeg). AlignSeg consists of two primary modules, i.e., the Aligned Feature Aggregation (AlignFA) module and the Aligned Context Modeling (AlignCM) module. First, AlignFA adopts a simple learnable interpolation strategy to learn transformation offsets of pixels, which can effectively relieve the feature misalignment issue caused by multiresolution feature aggregation. Second, with the contextual embeddings in hand, AlignCM enables each pixel to choose private custom contextual information in an adaptive manner, making the contextual embeddings aligned better to provide appropriate guidance. We validate the effectiveness of our AlignSeg network with extensive experiments on Cityscapes and ADE20K, achieving new state-of-the-art mIoU scores of 82.6% and 45.95%, respectively. Our source code will be made available.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における段階的ダウンサンプリングによって引き起こされる特徴の不整合問題を、マルチスケール特徴抽出の文脈で解消する。
• 文脈的特徴を無差別に融合する手法の限界を克服し、ピクセルごとに適応的な文脈選択を可能にする。
• 高解像度および低解像度特徴の正確な空間的整合性を確保することで、意味理解セグメンテーションにおける境界予測精度を向上させる。
• 特徴抽出と文脈モデリングの両方に学習可能な整合性を統合することで、ベンチマークデータセットで最先端の性能を達成する。
• COOでMask R-CNNにAlignFAモジュールを適用することで、インスタンスセグメンテーションへの一般化を実証する。

提案手法

• 低解像度および高解像度特徴マップの両方に対して2次元変換オフセットを予測する2つの学習可能な畳み込みカーネルを用いる、Aligned Feature Aggregation (AlignFA) モジュールを提案する。
• これらの学習済みオフセットを用いて空間的に適応的な補間を実行し、特徴の統合前に不整合を低減する。
• ピクセルごとに局所特徴と文脈特徴を空間的に整合させるために、学習可能なオフセットを用いたプーリングベースの文脈特徴抽出を実装するAligned Context Modeling (AlignCM) モジュールを導入する。
• 予測されたオフセットを介して正確な空間的整合性を確保する高解像度および低解像度特徴を組み合わせる、ボトムアップ型の特徴抽出アーキテクチャを採用する。
• 標準的な交差エントロピー損失を用いて、アライメントとセグメンテーションの両目的を同時に最適化するエンドツーエンドの学習を実施する。
• インスタンスセグメンテーションの文脈で、AlignFAモジュールをMask R-CNNに適応させ、標準的なFPNアップサンプリングの代わりに学習可能なオフセットベースの整合性を導入する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な特徴の整合性は、境界領域においてどのように意味理解セグメンテーション性能を向上させるのか？
• RQ2 空間的に整合された文脈特徴を用いた適応的文脈モデリングは、複雑なシーンにおける誤分類をどの程度低減できるか？
• RQ3 学習可能なオフセットベースの整合性機構は、マルチスケール特徴抽出における標準的な補間法を上回る性能を発揮できるか？
• RQ4 提案された整合性機構は、意味理解セグメンテーションを越えて、インスタンスセグメンテーションなどの他の密度予測タスクにも一般化可能か？
• RQ5 アライメントされた特徴抽出と文脈モデリングの組み合わせは、標準ベンチマーク上での既存の最先端アーキテクチャと比較して、どのように優れているか？

主な発見

• AlignSegは、Cityscapesのテストセットで82.6%のmIoUを達成し、新たな最先端のmIoUを記録した。
• ADE20Kのバリデーションセットでは、45.95%のmIoUを達成し、以前の最高記録であるACNetの45.90%を上回った。
• アブレーションスタディの結果、AlignFAおよびAlignCMの両方が境界領域の予測精度向上に顕著な寄与をしていることが確認された。
• 可視化結果から、学習されたオフセットマップが特に物体境界で空間的不整合を効果的に是正していることが示された。
• COOでMask R-CNNに適用した場合、AlignFAモジュールによりマスクAPが35.9から37.2に向上した。
• モデルは一貫した改善を示し、多様なデータセットおよびタスクにおいて、頑健で一般化性の高い性能を発揮した。