[論文レビュー] Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation

Tianfei Zhou, Meijie Zhang+2 more|arXiv (Cornell University)|Mar 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、画像ラベルのみを用いて弱教師ありセマンティックセグメンテーションを実現するための新規手法である、領域的意味的対比と集約（RCA）を提案する。RCAは、継続的に更新される疑似領域のメモリバンクを活用し、データセット全体の意味的対比と集約を可能にすることで、オブジェクト局在化と表現学習を顕著に向上させ、PASCAL VOC 2012 で73.2%、COCO 2014 で72.8%という、新たなSOTAのmIoUスコアを達成した。

ABSTRACT

Learning semantic segmentation from weakly-labeled (e.g., image tags only) data is challenging since it is hard to infer dense object regions from sparse semantic tags. Despite being broadly studied, most current efforts directly learn from limited semantic annotations carried by individual image or image pairs, and struggle to obtain integral localization maps. Our work alleviates this from a novel perspective, by exploring rich semantic contexts synergistically among abundant weakly-labeled training data for network learning and inference. In particular, we propose regional semantic contrast and aggregation (RCA) . RCA is equipped with a regional memory bank to store massive, diverse object patterns appearing in training data, which acts as strong support for exploration of dataset-level semantic structure. Particularly, we propose i) semantic contrast to drive network learning by contrasting massive categorical object regions, leading to a more holistic object pattern understanding, and ii) semantic aggregation to gather diverse relational contexts in the memory to enrich semantic representations. In this manner, RCA earns a strong capability of fine-grained semantic understanding, and eventually establishes new state-of-the-art results on two popular benchmarks, i.e., PASCAL VOC 2012 and COCO 2014.

研究の動機と目的

• 弱教師ありセマンティックセグメンテーションにおける疎な画像ラベルからの高密度なオブジェクト局在化の学習という課題に取り組む。
• 単一画像またはペairワイズな文脈モデルの限界を克服し、訓練データセット全体にわたる包括的な意味的構造を活用する。
• 膨大な弱教師ありラベル付きデータから得られる豊富で多様な文脈的知識を活用して、特徴表現学習とCAMベースの局在化を向上させる。
• 効果的でスケーラブルかつ頑健な意味的対比と集約を可能にするメモリ拡張フレームワークの開発を目的とする。

提案手法

• RCAは、すべての訓練画像から得られる疑似領域特徴を格納・継続的に更新する領域的メモリバンクを導入し、データセット全体にわたる多様なオブジェクトパターンを捉える。
• 同じカテゴリの埋め込みをメモリバンクからより近づけ、異なるカテゴリの埋め込みを遠ざけることで意味的対比を実行し、識別性の高い表現学習を強化する。
• 非パrametricなアテンション機構を用いて、各画像に対して関連するメモリ特徴を要約することで、意味的集約を達成し、局所表現にグローバルな文脈的知識を統合する。
• 粗いCAM予測を用いて各画像ごとにカテゴリ別の疑似領域を生成し、それを訓練中に対比的および集約的シグナルの計算に用いる。
• 標準的な分類バックボーンと互換性があり、既存の弱教師ありセグメンテーションパイプラインにスムーズに統合可能である。
• 最終的なセグメンテーションマップは、メモリバンクからの集約済みの文脈に配慮した特徴を用いてCAMを精緻化することで生成され、局在化精度が向上する。

Figure 1 : The main idea promoted throughout the paper is that semantic contexts subserve localization of individual objects in WSSS. Our RCA thus performs dataset-level relation learning (c) to mine rich contextual knowledge from massive (ideally all) training samples, rather than from an individua

実験結果

リサーチクエスチョン

• RQ1 膨大な弱教師ありラベル付きデータから得られるデータセットレベルの意味的文脈は、弱教師ありセマンティックセグメンテーションにおけるオブジェクト局在化を顕著に向上させ得るか？
• RQ2 密度の高い監視を必要とせずに、疑似領域のメモリバンクを効果的に用いて画像間の意味的関係をモデル化できるか？
• RQ3 データセット全体にわたる領域間の意味的対比が、特徴の識別性と表現品質をどの程度向上させるか？
• RQ4 グローバルなメモリバンクからの意味的集約は、複雑なシーンにおけるCAMベースの局在化のロバスト性と正確性を向上させ得るか？
• RQ5 提案されたRCAフレームワークは、画像ラベルのみを用いてPASCAL VOC 2012 や COCO 2014 といった標準ベンチマークでSOTA性能を達成できるか？

主な発見

• OAA++ベースラインと組み合わせた場合、PASCAL VOC 2012の検証セットで73.2%という新たなSOTAのmIoUを達成し、ベースライン比で3.8%の向上を示した。
• COCO 2014の検証セットでは、mIoUが72.8%に達し、EPSベースライン比で2.0%、以前のSOTA手法比で1.3%の向上を示した。
• 定性的な結果から、小さなオブジェクト、スケール変動、隠蔽、複数インスタンスといった困難なケースにおいても、優れた一般化性能を示した。
• アブレーションスタディの結果、意味的対比と集約の両コンponentsが性能向上に顕著に寄与しており、メモリバンクが長距離の文脈的依存関係を捉える上で中心的な役割を果たしていることが確認された。
• ResNet や VGG といった複数のバックボーンと複数のデータセットにおいて、RCAフレームワークは一貫して既存手法を上回り、そのロバスト性とスケーラビリティを裏付けた。
• RCAが生成する最終的なセグメンテーションマップは、中間のCAM予測と比べて著しく正確かつ包括的であることが確認され、集約と精緻化機構の有効性が裏付けられた。

Figure 2 : Detailed illustration of regional semantic contrast and aggregation . See § 3 for more details.