[論文レビュー] Learning Debiased and Disentangled Representations for Semantic Segmentation

Sang-Hyeok Chu, Dongwan Kim+1 more|arXiv (Cornell University)|Oct 31, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

この論文では、Grad-CAMを用いて訓練中にクラス固有の特徴をランダムに抑制することで、特徴のエンタングルメントとデータセットバイアスを低減するモデルに依存しない訓練スキーム、DropClassを提案する。本手法は、追加のデータやアノテーションを必要とせず、複数のベンチマークとアーキテクチャにおいて、特に未反映クラスの性能を向上させる。

ABSTRACT

Deep neural networks are susceptible to learn biased models with entangled feature representations, which may lead to subpar performances on various downstream tasks. This is particularly true for under-represented classes, where a lack of diversity in the data exacerbates the tendency. This limitation has been addressed mostly in classification tasks, but there is little study on additional challenges that may appear in more complex dense prediction problems including semantic segmentation. To this end, we propose a model-agnostic and stochastic training scheme for semantic segmentation, which facilitates the learning of debiased and disentangled representations. For each class, we first extract class-specific information from the highly entangled feature map. Then, information related to a randomly sampled class is suppressed by a feature selection process in the feature space. By randomly eliminating certain class information in each training iteration, we effectively reduce feature dependencies among classes, and the model is able to learn more debiased and disentangled feature representations. Models trained with our approach demonstrate strong results on multiple semantic segmentation benchmarks, with especially notable performance gains on under-represented classes.

研究の動機と目的

• 分類タスクと比較してあまり研究が進んでいない、セマンティックセグメンテーションにおけるデータセットバイアスと特徴のエンタングルメントを解消すること。
• 共起するオブジェクトパターンやクラスの不均衡によって引き起こされるクラス間依存性を低減する訓練スキームを開発すること。
• 追加のデータやアノテーションを必要とせず、既存のアーキテクチャにモデルに依存しない形で統合できること。
• 分離された、バイアスのない特徴学習を促進することで、未反映クラスの性能を向上させること。
• 多様なアーキテクチャとベンチマークデータセットにおいて、本手法の有効性を検証すること。

提案手法

• 各入力画像に対して、Grad-CAMを用いてクラス固有の特徴マップを抽出し、各クラスの特徴的な領域を特定する。
• 各訓練イテレーションにおいて、ランダムに選択されたクラスの特徴マップを特徴空間で抑制することで、クラス間依存性を低減する。
• 残りの特徴マップを統合してモデルの予測を生成し、クラス表現に特化した確率的ドロップアウトに類似した形をとる。
• モデルが特定の1つのクラスの特徴に過度に依存しないように促すために、抑制損失を導入する。これにより、特徴の分離が促進される。
• 訓練スキームはモデルに依存せず、任意のセマンティックセグメンテーションアーキテクチャと互換性があり、アーキテクチャの変更を必要としない。
• 標準のクロスエントロピー損失に加えて、本手法で新規に導入された抑制損失を用いることで、訓練の安定化と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の特徴をランダムに抑制することは、セマンティックセグメンテーションにおける特徴の分離とバイアス低減にどのように影響するか？
• RQ2 追加のデータがなくとも、モデルに依存しない訓練スキームが未反映クラスの性能向上に有効に働くか？
• RQ3 提案された抑制損失は、標準のクロスエントロピー損失と比較して、クラス間特徴のエンタングルメント低減にどの程度効果を示すか？
• RQ4 DropClassは、異なるアーキテクチャとデータセットにおいて、一般化性能をどの程度向上させるか？
• RQ5 ランダムにサンプリングされたクラスの特徴を抑制することは、密度予測タスクにおけるより強固でバイアスの少ない表現を生み出すか？

主な発見

• DropClassは未反映クラスにおいて顕著な性能向上を達成し、Cityscapesでは最大2.1%のmIoU向上、PASCAL-Contextでは1.8%の向上を達成した。
• ベースラインと比較して、Cityscapesでは0.7%p、PASCAL-Contextでは0.5%pのmIoU向上を達成した。
• アブレーションスタディにより、抑制損失が不可欠であることが確認され、その除去により性能が低下した。
• Grad-CAMマップの可視化と分析により、DropClassで学習されたモデルは特徴のエンタングルメントが低減していることが裏付けられた。
• DeepLabV3 や HRNet といった複数のアーキテクチャにおいても有効であり、広範な互換性を示した。
• 抑制損失を含まないランダムなクラスドロップを適用した標準的な訓練でさえ、DropClassに劣ることを示しており、本手法の損失部の必要性が強調された。