[論文レビュー] Semantic Correlation Promoted Shape-Variant Context for Segmentation

Henghui Ding, Xudong Jiang+3 more|arXiv (Cornell University)|Sep 5, 2019

Visual Attention and Saliency Detection参考文献 73被引用数 11

ひとこと要約

本稿では、ペアド畳み込みを用いて画素間の意味的相関を学習し、動的で意味的依存性のある受容 field を生成することで、形状およびスケールに依存するコンテキスト集約法を提案する。この手法は、固定された空間的ウィンドウではなく、意味的に相関する領域からのコンテキストに注目することで特徴の識別性を向上させ、追加のコンponentsなしで6つのベンチマークデータセットにおいて新たなSOTA性能を達成する。

ABSTRACT

Context is essential for semantic segmentation. Due to the diverse shapes of objects and their complex layout in various scene images, the spatial scales and shapes of contexts for different objects have very large variation. It is thus ineffective or inefficient to aggregate various context information from a predefined fixed region. In this work, we propose to generate a scale- and shape-variant semantic mask for each pixel to confine its contextual region. To this end, we first propose a novel paired convolution to infer the semantic correlation of the pair and based on that to generate a shape mask. Using the inferred spatial scope of the contextual region, we propose a shape-variant convolution, of which the receptive field is controlled by the shape mask that varies with the appearance of input. In this way, the proposed network aggregates the context information of a pixel from its semantic-correlated region instead of a predefined fixed region. Furthermore, this work also proposes a labeling denoising model to reduce wrong predictions caused by the noisy low-level features. Without bells and whistles, the proposed segmentation network achieves new state-of-the-arts consistently on the six public segmentation datasets.

研究の動機と目的

• セマンティックセグメンテーションにおける固定サイズで空間的に事前に定義されたコンテキスト領域の制限を解消すること。これは、多様な物体の形状やレイアウトに適応できないためである。
• すべての空間的近傍画素ではなく、意味的に相関する領域からのみコンテキストを集約することで、特徴の識別性を向上させること。
• 特徴統合の段階で、上位レベルの特徴を用いて低レベル特徴のノイズに起因する誤差を低減すること。
• 1つのネットワーク層内で物体の形状とスケールに応じて変化する、学習可能で適応的なコンテキスト集約メカニズムを構築すること。

提案手法

• クエリ画素と他の画素の特徴表現に基づいて、意味的相関を計算するペアド畳み込みを提案する。
• ペアド畳み込みの出力にガウスマッピングを適用し、各画素について意味的に相関する領域の空間的範囲を示す形状マスクを生成する。
• 学習された形状マスクを用いて受容 field のサイズと形状を動的に制御する形状可変畳み込みを導入し、意味的に関連する領域からのコンテキスト集約を可能にする。
• 頑健な高レベル特徴を用いて、統合の前に低レベル特徴の予測におけるノイズを抑制するラベルノイズ低減モデルを設計する。
• 並列またはスタックされたブランチを必要とせず、1つのネットワークアーキテクチャでマルチスケールおよびマルチシェイプのコンテキストを暗黙的に処理する。
• エンド・ツー・エンドの最適化により、意味的相関、コンテキスト集約、ノイズ低減を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 画素間の意味的相関を効果的にモデル化することで、セマンティックセグメンテーションにおける動的コンテキスト集約をガイドできるか？
• RQ2 固定サイズまたはグローバルコンテキストと比較して、形状およびスケールに依存するコンテキスト集約は、特徴表現をどのように改善するか？
• RQ3 アダプティブな受容 field を備えた1層のネットワークが、マルチブランチまたはスタックアーキテクチャを上回る性能を発揮できるか？
• RQ4 上位レベルの特徴を用いて低レベル特徴のノイズをどれほど効果的に低減でき、セグメンテーション精度を向上させられるか？
• RQ5 提案手法は、物体の形状、スケール、アノテーション品質が異なる多様なデータセットに一般化できるか？

主な発見

• 提案手法SVCNetは、PASCAL-Contextデータセットで53.2のmIoUを達成し、以前の手法を2.0ポイント上回る新たなSOTAを記録した。
• Cityscapesでは81.0のmIoUを達成し、以前のSOTA（PSANet）の80.1を0.9ポイント上回った。
• COCO-Stuffでは57.8%のmIoUを達成し、従来手法に比べ顕著な向上を示し、優れた一般化性能を示した。
• CamVidでは73.9%のmIoUを達成し、以前のSOTA（RefineNet）を5.3ポイント上回った。
• PASCAL-Person-Partでは75.4%のmIoUを達成し、小規模で細粒度なデータセットに対しても強力な性能を示した。
• アブレーションスタディにより、意味的相関モジュールとノイズ低減メカニズムの両方が性能向上に顕著な寄与をしていることが確認された。