[論文レビュー] SpaceMeshLab: Spatial Context Memoization and Meshgrid Atrous Convolution Consensus for Semantic Segmentation

Taehun Kim, Jinseong Kim+1 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Neural Network Applications参考文献 17被引用数 2

ひとこと要約

本稿では、空間的コンテキスト記憶（SpaM）とメッシュグリッドアトラウス畳み込みコンSENSUS（MetroCon2）を用いて特徴表現を向上させる、セマンティックセグメンテーションフレームワークであるSpaceMeshLabを提案する。SpaMはピクセルシャッフル/アンシャッフルとアテンションモジュールを用いたスキップ接続により空間的コンテキストを保持する。一方、MetroCon2は学習可能で自信スコアを備えた、指定範囲（例：1–18）内の全組み合わせの倍率グリッドを用い、微細なスケール多様性をカバーする受容 field を得る。本手法は、Cityscapesテストで82.0% mIoU、Pascal-Contextバリデーションで53.5% mIoUを達成し、先行する最先端モデルを上回る性能を示した。

ABSTRACT

Semantic segmentation networks adopt transfer learning from image classification networks which occurs a shortage of spatial context information. For this reason, we propose Spatial Context Memoization (SpaM), a bypassing branch for spatial context by retaining the input dimension and constantly communicating its spatial context and rich semantic information mutually with the backbone network. Multi-scale context information for semantic segmentation is crucial for dealing with diverse sizes and shapes of target objects in the given scene. Conventional multi-scale context scheme adopts multiple effective receptive fields by multiple dilation rates or pooling operations, but often suffer from misalignment problem with respect to the target pixel. To this end, we propose Meshgrid Atrous Convolution Consensus (MetroCon^2) which brings multi-scale scheme into fine-grained multi-scale object context using convolutions with meshgrid-like scattered dilation rates. SpaceMeshLab (ResNet-101 + SpaM + MetroCon^2) achieves 82.0% mIoU in Cityscapes test and 53.5% mIoU on Pascal-Context validation set.

研究の動機と目的

• ImageNet事前学習バックボーンにおけるダウンサンプリングに起因する空間的コンテキストの損失を是正すること。
• 従来のアトラウス畳み込みにおける固定倍率による多スケールコンテキストモジュールの不整合を克服すること。
• バックボーンと補助ブランチ間の豊富な意味的および空間的コンテキスト情報を統合することで、特徴表現を向上させること。
• 多様なオブジェクトサイズと形状を効果的に捉える微細な多スケールコンテキストモジュールを構築すること。

提案手法

• 空間的コンテキスト記憶（SpaM）は、ピクセルシャッフル/アンシャッフルを用いた並列残差ブロックを採用し、元の空間解像度を維持するとともに、バックボーンとSpaMブランチ間の双方向特徴通信を可能にする。
• SpaMはピクセルシャッフル後に空間的コンテキストアテンション（SCA）およびチャネルコンテキストアテンション（CCA）モジュールを適用し、特徴の整合性と表現力を向上させる。
• メッシュグリッドアトラウス畳み込みコンセンサス（MetroCon2）は、指定範囲（例：1–18）内の全組み合わせの倍率グリッド（i,j）を用い、微細なスケール多様性をカバーする完全な受容フィールドを実現する。
• MetroCon2の各畳み込みには学習可能な自信スコアが割り当てられ、多スケール特徴の寄与度を動的に重み付けし、コンセンサス学習を可能にする。
• MetroCon2の各倍率出力は連結され、最終的なセグメンテーション予測のためのデコーダヘッドに渡される。
• 本モデルは、標準的なデータオーグメンテーションとテスト時マルチスケール推論を用い、クロスエントロピー損失でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 特徴マップの空間解像度を完全に保持することで、空間的コンテキストの向上がセマンティックセグメンテーション性能の向上に寄与するか？
• RQ2 従来のアトラウス畳み込みにおける固定倍率に代えて、多スケールコンテキストをより効果的に捉える方法は何か？
• RQ3 学習可能なアテンションを備えたメッシュグリッドベースの倍率設定が、スケール間の特徴コンセンサスを向上させるか？
• RQ4 空間的コンテキスト記憶と微細な多スケールコンテキストの統合が、困難なデータセットでより優れた性能をもたらすか？

主な発見

• SpaceMeshLabは、Cityscapesテストセットで82.0% mIoUを達成し、先行する最先端手法を上回った。
• Pascal-Contextバリデーションセットでは、テスト時オーグメンテーションを用いたベースライン比で1.6%の向上を達成し、53.5% mIoUを記録した。
• アブレーションスタディの結果、1から18までの倍率をメッシュグリッド構成で使用した場合が最良の性能を示し、テスト時オーグメンテーションを適用した際のmIoUは81.8%に達した。
• 定性的な結果から、ポールのような小さなオブジェクトの接続断絶が低減され、壁やフェンスのような類似クラスの境界精度が向上していることが示された。
• テスト時オーグメンテーションを適用した場合、1–18の全倍率メッシュグリッドを用いたSpaceMeshLabは、DeepLabV3+を2.3% mIoU向上させた。
• 学習可能な自信スコアを備えた提案されたMetroCon2モジュールは、最も関連性の高い多スケール特徴を効果的に特定・強調し、モデルのロバスト性と精度を向上させた。