[論文レビュー] Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning

Hanzhe Hu, Fangyun Wei+4 more|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 14

ひとこと要約

本論文は、カテゴリごとのパフォーマンスを追跡するための信頼度バンクを用いて、長尾分布に起因するカテゴリ間の性能差を動的にバランスさせる、Adaptive Equalization Learning (AEL) と呼ばれる新しい半教師ありセマンティックセグメンテーションフレームワークを提案する。AELは、性能が低い（尾をなす）カテゴリを優先して、データオーグメンテーション、サンプリング、再重み付け戦略を動的に適用することで、モデルの汎化性能を向上させ、CityscapesおよびPascal VOCでSOTAを達成し、低ショット設定下で最大+16.39% mIoUの向上を達成した。

ABSTRACT

Due to the limited and even imbalanced data, semi-supervised semantic segmentation tends to have poor performance on some certain categories, e.g., tailed categories in Cityscapes dataset which exhibits a long-tailed label distribution. Existing approaches almost all neglect this problem, and treat categories equally. Some popular approaches such as consistency regularization or pseudo-labeling may even harm the learning of under-performing categories, that the predictions or pseudo labels of these categories could be too inaccurate to guide the learning on the unlabeled data. In this paper, we look into this problem, and propose a novel framework for semi-supervised semantic segmentation, named adaptive equalization learning (AEL). AEL adaptively balances the training of well and badly performed categories, with a confidence bank to dynamically track category-wise performance during training. The confidence bank is leveraged as an indicator to tilt training towards under-performing categories, instantiated in three strategies: 1) adaptive Copy-Paste and CutMix data augmentation approaches which give more chance for under-performing categories to be copied or cut; 2) an adaptive data sampling approach to encourage pixels from under-performing category to be sampled; 3) a simple yet effective re-weighting method to alleviate the training noise raised by pseudo-labeling. Experimentally, AEL outperforms the state-of-the-art methods by a large margin on the Cityscapes and Pascal VOC benchmarks under various data partition protocols. Code is available at https://github.com/hzhupku/SemiSeg-AEL

研究の動機と目的

• Cityscapesのようなデータセットにおけるクラスの不均衡が原因で、代表されにくい（尾をなす）カテゴリの性能が著しく低下する問題に対処すること。
• 既存の手法で無視されがちな、誤った擬似ラベルと一貫性正則化が尾カテゴリに与える悪影響を軽減すること。
• 半教師あり学習中に、性能が低いカテゴリに焦点を当てる動的で適応的なトレーニングフレームワークを構築すること。
• カテゴリごとのパフォーマンス追跡と再重み付けメカニズムを活用して、全体および尾カテゴリのmIoUを向上させること。

提案手法

• トレーニング中に各カテゴリの予測の平均信頼度を動的に追跡するための信頼度バンクを維持し、カテゴリごとのパフォーマンス指標として機能する。
• 適応的コピー・ペーストおよび適応的CutMixオーグメンテーションを導入し、性能が低いカテゴリからのピクセルをコピーまたはカットする確率を高める。
• 尾カテゴリのピクセルのサンプリング確率を高める、適応的等価サンプリング戦略を提案する。
• モデルの予測と信頼度バンクの統計に基づいて損失重みを動的に調整する再重み付け手法を採用し、信頼性の低い擬似ラベルからのノイズを低減する。
• これらのコンponentsをMean Teacherスタイルの半教師あり学習パイプラインに統合し、一貫性正則化と擬似ラベル化を実装する。
• 信頼度バンクは各トレーニングステップで更新され、リアルタイムですべての適応的コンponentsをガイドする。

実験結果

リサーチクエスチョン

• RQ1 Cityscapesのようなデータセットにおける長尾クラス分布に対して、半教師ありセマンティックセグメンテーションモデルがどのようにしてより頑健になるか。
• RQ2 動的パフォーマンス追跡は、半教師ありセグメンテーションにおける性能が低いカテゴリの学習にどの程度寄与するか。
• RQ3 適応的データオーグメンテーションおよびサンプリング戦略は、ヘッドクラスの性能を劣化させることなく、トレーニングの焦点を尾カテゴリに効果的にシフトさせることができるか。
• RQ4 カテゴリの信頼度に基づく動的再重み付けは、半教師あり学習におけるノイズの多い擬似ラベルの悪影響をどの程度軽減できるか。

主な発見

• 1/32データパーティションプロトコル下でCityscapesデータセットを用いた場合、AELは74.28% mIoUを達成し、教師ありベースライン比で+16.39%の向上を示した。
• 1/16プロトコル下では、AELは75.83% mIoUを達成し、教師ありベースライン比で+12.87%の向上を示した。
• Pascal VOC 2012では、1/32プロトコル下でAELは76.97% mIoUを達成し、教師ありベースライン比で+6.83%の向上を示した。
• 5,000枚の未ラベル付き画像を含む粗いデータセットを用いて、完全なCityscapesトレーニングセットで微調整した場合、AELはmIoUを80.92%から81.95%に向上させた。
• ADE20Kでは、AELは教師ありベースライン比で最大6.36%、Cutmix-Seg比で最大2.25%の向上を、すべてのパーティションプロトコルで達成した。
• アブレーションスタディの結果、信頼度バンクと動的再重み付けが不可欠であり、すべてのコンponentsを併用した場合に最高の性能が得られた。