[論文レビュー] Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation

Ruifei He, Jihan Yang+1 more|arXiv (Cornell University)|Jul 23, 2021

Advanced Neural Network Applications参考文献 63被引用数 5

ひとこと要約

本稿では、教師ありデータからの真のクラス分布に合わせて疑似ラベルのクラス分布を揃えることで、偏りのある疑似ラベルを再配分するシンプルで効果的な手法DARSを提案する。クラスごとのしきい値とランダムサンプリングを用いることで、自己学習における長尾バイアスを是正し、Cityscapes（1/8スプリット）で8.89% mIoUの向上、PASCAL VOC 2012で4.49%の向上を達成。最先端手法を上回る性能を発揮する。

ABSTRACT

While self-training has advanced semi-supervised semantic segmentation, it severely suffers from the long-tailed class distribution on real-world semantic segmentation datasets that make the pseudo-labeled data bias toward majority classes. In this paper, we present a simple and yet effective Distribution Alignment and Random Sampling (DARS) method to produce unbiased pseudo labels that match the true class distribution estimated from the labeled data. Besides, we also contribute a progressive data augmentation and labeling strategy to facilitate model training with pseudo-labeled data. Experiments on both Cityscapes and PASCAL VOC 2012 datasets demonstrate the effectiveness of our approach. Albeit simple, our method performs favorably in comparison with state-of-the-art approaches. Code will be available at https://github.com/CVMI-Lab/DARS.

研究の動機と目的

• 自己学習に基づく半教師ありセマンティックセグメンテーションにおける深刻なクラス分布の不一致に取り組む。これは、長尾データとモデルの過信による多数クラスに偏った疑似ラベルが原因である。
• 長尾分布下で単一しきい値の疑似ラベル付けが、特にテイルクラスにおいて、信頼度の重複と偏った予測のため失敗することを特定する。
• 教師ありデータからの真のクラス分布に一致させる分布整合性手法を提案する。これにより、信頼度しきい値に依存せずにバイアスを是正できる。
• 段階的なデータ拡張およびラベリング戦略を導入し、訓練の安定性を高め、初期段階での容易で高信頼度の例に過適合するのを防ぐ。
• 本手法が汎用的で、効率的かつ効果的であることを示し、最小限のコード変更で最先端の性能を達成する。

提案手法

• クラスごとのしきい値とランダムサンプリングを用いて、疑似ラベルのクラス分布が教師ありデータからの真の分布と一致するように再配分する分布整合性とランダムサンプリング（DARS）を提案する。
• 深層ネットワークにおける信頼度の重複を是正するため、単一のグローバルしきい値に依存するのを避ける。代わりに、クラスごとの信頼度しきい値を適用することで、正確な分布整合性を達成する。
• 段階的なデータ拡張およびラベリング戦略を導入し、訓練エポックに伴い徐々に拡張強度とラベリング率を増加させることで、モデルのロバスト性と一般化性能を向上させる。
• PSPNetとDeepLabv2をバックボーンモデルとして用い、反復的自己学習中にDARSを適用してバイアスのない疑似ラベルを生成する。
• 教師ありデータセットからの真のクラス分布を推定し、疑似ラベルの分布を一致させるターゲットとして用いる。これにより、分布の不一致を最小限に抑える。
• 低データ（1/8スプリット）および高データの両環境で本手法を適用し、追加の疑似ラベル付きデータを用いた完全教師あり微調整も含む。

実験結果

リサーチクエスチョン

• RQ1 真のクラス分布に合わせて偏った疑似ラベルを再配分することで、半教師ありセマンティックセグメンテーションの性能が顕著に向上するか？
• RQ2 クラスごとのしきい値とランダムサンプリングを用いることで、長尾データとモデルバイアスが引き起こす分布不一致が効果的に是正されるか？
• RQ3 段階的なデータ拡張およびラベリング戦略は、自己学習中のモデルの収束性とロバスト性にどのように影響するか？
• RQ4 高データ環境における半教師ありセマンティックセグメンテーションの性能向上を制限する主なボトルネックは何か？
• RQ5 DARSのようなシンプルで汎用的な手法が、より複雑な最先端のアプローチを上回る性能を発揮できるか？

主な発見

• DARSは1/8スプリット設定下でCityscapesで+8.89%のmIoU向上を達成し、従来手法を顕著に上回る。
• PASCAL VOC 2012（ラベル付き1.4k枚、拡張済み未ラベル9k枚）において、DARSは前人最高の手法を4.49%上回るmIoU向上を達成した。
• DARSによる性能向上は、特に希少な出現頻度のテイルクラスで顕著であり、ヘッドクラスでは最小限の向上にとどまる。
• 高データ環境では、2つの主なボトルネックにより性能向上が飽和する。 (1) 初期には希少クラスであったものが、ヘッドクラスに進化する。 (2) 小さなオブジェクトに対する深層ネットワークの体系的誤りが、さらなる向上を制限する。
• 小サイズのオブジェクトの分類精度が著しく低下しており、小オブジェクトに対する体系的誤りが高データ環境における半教師あり学習の主なボトルネックであることが示された。
• 9Kの追加疑似ラベル付きデータを用いて完全教師ありモデルを拡張しても、mIoUはたった2.1%の向上にとどまり、高データ環境における性能の飽和が示された。