[論文レビュー] Weakly-Supervised Semantic Segmentation via Sub-category Exploration

Yu-Ting Chang, Qiaosong Wang+4 more|arXiv (Cornell University)|Aug 3, 2020

Advanced Neural Network Applications参考文献 42被引用数 11

ひとこと要約

本稿では、弱教師ありセマンティックセグメンテーションの性能を向上させるために、自己教師付きのサブカテゴリ探索手法を提案する。初期クラス活性化マップ（CAMs）の品質を向上させることで、PASCAL VOC 2012で66.1%のSOTA mIoUを達成した。繰り返しクラスタリングとサブカテゴリ分類の自己教師学習により、オブジェクト全体に注目するより包括的な特徴表現が得られ、結果としてより優れたCAMsが得られる。

ABSTRACT

Existing weakly-supervised semantic segmentation methods using image-level annotations typically rely on initial responses to locate object regions. However, such response maps generated by the classification network usually focus on discriminative object parts, due to the fact that the network does not need the entire object for optimizing the objective function. To enforce the network to pay attention to other parts of an object, we propose a simple yet effective approach that introduces a self-supervised task by exploiting the sub-category information. Specifically, we perform clustering on image features to generate pseudo sub-categories labels within each annotated parent class, and construct a sub-category objective to assign the network to a more challenging task. By iteratively clustering image features, the training process does not limit itself to the most discriminative object parts, hence improving the quality of the response maps. We conduct extensive analysis to validate the proposed method and show that our approach performs favorably against the state-of-the-art approaches.

研究の動機と目的

• 分類ネットワークから得られる不正確な初期応答マップに依存する弱教師ありセマンティックセグメンテーション手法の限界を解消すること。
• ネットワークが識別的部分のみに注目するのではなく、オブジェクト全体に注目するように促すことで、クラス活性化マップ（CAMs）の品質を向上させること。
• 画像レベル分類の最適化目的が、CAMsが顕著な部分にのみ集中する傾向を是正すること。
• 追加のアノテーションを必要とせず、自己教師付きのサブカテゴリ発見タスクを導入して特徴表現を向上させること。
• 最終的な微調整段階やセグメンテーション段階の性能を向上させるために、初期予測段階の品質を向上させることで、SOTA性能を達成すること。

提案手法

• PASCAL VOC 2012データセットの各親カテゴリ（例：'aeroplane'、'car'）に対して、事前学習済み分類ネットワークから抽出した特徴量を用いて、非教師付きクラスタリングを実行する。
• 得られたクラスタ割り当てを偽のサブカテゴリラベルとして用い、自己教師学習的にサブカテゴリ分類ヘッドを学習する。
• 画像特徴のクラスタリングとサブカテゴリ目的関数に基づく分類ネットワークのファインチューニングを繰り返し行い、特徴表現を改善する。
• サブカテゴリ目的を学習プロセスに統合することで、ネットワークの正則化を図り、識別的でないが意味的に関連のあるオブジェクト部分への注目を促進する。
• 最適化されたネットワークを用いて、改善された初期応答マップ（CAMs）を生成し、これを最終的なセグメンテーションネットワークの学習に用いる偽正例として利用する。
• 最終的なセグメンテーション出力をさらに精緻化するために、CRFの後処理を適用し、検証およびテストセットにおけるmIoUを向上させる。

Figure 1: Existing weakly-supervised semantic segmentation methods based on image-level supervisions usually apply the class activation map (CAM) to obtain the response map as the initial prediction. However, this response map can only highlight the discriminative parts of the object (top). We propo

実験結果

リサーチクエスチョン

• RQ1 非教師付きクラスタリングによるサブカテゴリ発見が、弱教師ありセマンティックセグメンテーションにおける初期クラス活性化マップの品質を向上させ得るか？
• RQ2 自己教師付きサブカテゴリ目的の導入により、ネットワークが識別的部分のみに注目するのではなく、オブジェクト全体に注目するようになるか？
• RQ3 繰り返しクラスタリングと偽ラベル学習を組み合わせることで、追加の監視なしにより良い特徴表現が得られるか？
• RQ4 mIoUと異なるカテゴリにおける頑健性の観点から、提案手法はSOTA手法と比較してどのように優れているか？
• RQ5 本手法は初期応答マップの品質をどの程度向上させ、それが最終的なセグメンテーション性能の向上にどのように寄与するか？

主な発見

• 提案手法は、CRFの後処理を施した場合、PASCAL VOC 2012のテストセットで66.1%のmIoUを達成し、SOTA手法を上回った。
• CRFを用いない場合でも64.8%のmIoUを達成でき、FickleNetの64.9%と同等の性能を示し、向上した初期応答マップの有効性を裏付けた。
• 定性的な例を通じて、識別的部分への過剰な注目が軽減され、オブジェクト全体に注目するようになっていることが確認された。
• アブレーションスタディの結果、サブカテゴリクラスタリングと繰り返し学習スキームが、特徴表現とセグメンテーション品質の両方を顕著に向上させた。
• ネットワークは、オブジェクトのサイズ、種別、文脈、共起パターンに基づいてサブカテゴリを区別できるようになっており、意味的な特徴の分離が達成されていることが示された。
• CRFを用いた場合、20クラス中11クラスで優れた性能を示し、比較表における赤、緑、青の最良成績を記録した。

Figure 2: Proposed framework for generating the class activation map. Given input images $I$ , we first feed them into a feature extractor $E$ to obtain their features $f$ . Then, we adopt unsupervised clustering on $f$ and obtain sub-category pseudo labels $Y_{s}$ for each image. Next, we train the