[論文レビュー] SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost

Yanpeng Sun, Zechao Li|arXiv (Cornell University)|Nov 5, 2021

Advanced Neural Network Applications参考文献 42被引用数 9

ひとこと要約

本稿では、推論時に畳み込みニューラルネットワーク（CNN）バックボーンの複数の段階における意味的構造情報を利用することで、弱教師付き画素単位の密度予測のためのクラス活性化マップ（CAMs）を向上させるパラメータフリーな手法である意味的構造に配慮した推論（SSA）を提案する。トレーニングや追加パラメータを一切必要とせず、構造的な特徴の最適化によってCAMの品質を向上させ、弱教師付きオブジェクト検出（WSOL）および弱教師付きセマンティックセグメンテーション（WSSS）のベンチマークで最先端の性能を達成する。

ABSTRACT

The pixel-wise dense prediction tasks based on weakly supervisions currently use Class Attention Maps (CAM) to generate pseudo masks as ground-truth. However, the existing methods typically depend on the painstaking training modules, which may bring in grinding computational overhead and complex training procedures. In this work, the semantic structure aware inference (SSA) is proposed to explore the semantic structure information hidden in different stages of the CNN-based network to generate high-quality CAM in the model inference. Specifically, the semantic structure modeling module (SSM) is first proposed to generate the class-agnostic semantic correlation representation, where each item denotes the affinity degree between one category of objects and all the others. Then the structured feature representation is explored to polish an immature CAM via the dot product operation. Finally, the polished CAMs from different backbone stages are fused as the output. The proposed method has the advantage of no parameters and does not need to be trained. Therefore, it can be applied to a wide range of weakly-supervised pixel-wise dense prediction tasks. Experimental results on both weakly-supervised object localization and weakly-supervised semantic segmentation tasks demonstrate the effectiveness of the proposed method, which achieves the new state-of-the-art results on these two tasks.

研究の動機と目的

• 既存のCAM向上手法が追加のトレーニング、パラメータ、または複雑なハイパーパramータチューニングを必要としているという限界を解消すること。
• トレーニングコストを負担せずに、弱教師付き画素単位の密度予測タスクにおけるクラス活性化マップ（CAMs）の品質を向上させること。
• 複数のバックボーン段階にわたる深層CNN特徴マップに隠された、クラス間の特徴相関として定義される意味的構造情報を利用すること。
• 任意のCNNベースのモデルに普遍的に適用可能な、プラグアンドプレイ型の推論時モジュールを開発すること。
• 最小限の計算コストで、弱教師付きオブジェクト検出およびセマンティックセグメンテーションで最先端の性能を達成すること。

提案手法

• 標準の事前学習済み画像分類ネットワークを用いて、初期CAMを生成する。
• 複数のバックボーン段階で、パラメータフリーな意味的構造モデリング（SSM）モジュールを適用し、オブジェクトカテゴリ間のクラスに依存しない意味的相関表現を計算する。
• SSMは、各クラスと他のすべてのクラスとの間で類似度スコアを計算し、特徴マップ内の構造的な関係を捉える。
• 構造的な表現を用いて、ドット積演算により初期CAMを精錬し、空間的な完全性と局所化の正確性を向上させる。
• 異なる段階からの磨き上げられたCAMを統合して、最終的な高品質なCAMを生成する。
• この全プロセスは推論時のみに適用され、再トレーニングや追加パラメータを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 深層CNN特徴マップに隠された意味的構造情報は、トレーニングやパラメータ更新なしにCAMの品質向上に利用可能か？
• RQ2 異なるバックボーン段階からのマルチスケール意味的構造の統合は、弱教師付き密度予測におけるCAM精錬にどのように影響するか？
• RQ3 パラメータフリーで推論時専用のモジュールは、トレーニングに依存する既存のCAM向上手法を、弱教師付きオブジェクト検出およびセマンティックセグメンテーションの分野で上回ることができるか？
• RQ4 提案手法は、タスク固有のハイパーパramータチューニングを必要とせずに、さまざまなバックボーンアーキテクチャやデータセットに一般化可能か？
• RQ5 意味的構造の使用は、弱教師付きセマンティックセグメンテーションにおける疑似マスクのカバレッジと正確性をどの程度向上させるか？

主な発見

• CUB-200-2011データセットにおいて、InceptionV3を用いたCAM + SSAはトップ1誤差率44.9%、トップ5誤差率25.5%を達成し、以前のSoA手法を上回った。
• 同じデータセットにおいて、VGG16を用いたCAM + SSAはトップ1誤差率44.9%、トップ5誤差率29.1%を記録し、ベースラインのCAMおよび他のSoA手法を上回った。
• VGG16を用いた場合、SPA + SSAはトップ1誤差率38.1%、トップ5誤差率19.4%を達成し、SPA+SCGやIRNetよりも顕著な向上を示した。
• PASCAL VOC 2012において、IRNet + SSAは検証セットで67.4%のmIoU、テストセットで67.9%のmIoUを達成し、境界ボックスの監視を用いるBoxSupやSDIを含むすべてのベースラインを上回った。
• アブレーションスタディの結果、複数段階の特徴統合とSSMモジュールが性能向上に不可欠であり、複数のバックボーン段階からの表現を統合した場合に最も優れた結果が得られた。