[論文レビュー] Semi-Supervised Semantic Segmentation via Dynamic Self-Training and Class-Balanced Curriculum

Zhengyang Feng, Qianyu Zhou+4 more|arXiv (Cornell University)|Apr 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 55

ひとこと要約

本稿では、予測信頼度を用いてモデル間の不一致を活用することで、ノイズに強い動的損失を構築する、動的自己訓練とクラスバランス型カリキュラム（DST-CBC）という、半教師ありセマンティックセグメンテーションの新規手法を提案する。敵対的訓練やアーキテクチャの変更なしに、すべての未ラベルデータを効率的かつ包括的に活用できる。複数のデータセットにおいて、ラベル付きデータの比率が異なる状況でも、先行手法を上回る性能を発揮する。

ABSTRACT

In this work, we propose a novel and concise approach for semi-supervised semantic segmentation. The major challenge of this task lies in how to exploit unlabeled data efficiently and thoroughly. Previous state-of-the-art methods utilize unlabeled data by GAN-based self-training or consistency regularization. However, these methods either suffer from noisy self-supervision and class-imbalance, resulting in a low unlabeled data utilization rate, or do not consider the apparent link between self-training and consistency regularization. Our method, Dynamic Self-Training and Class-Balanced Curriculum (DST-CBC), exploits inter-model disagreement by prediction confidence to construct a dynamic loss robust against pseudo label noise, enabling it to extend pseudo labeling to a class-balanced curriculum learning process. While we further show that our method implicitly includes consistency regularization. Thus, DST-CBC not only exploits unlabeled data efficiently, but also thoroughly utilizes $all$ unlabeled data. Without using adversarial training or any kind of modification to the network architecture, DST-CBC outperforms existing methods on different datasets across all labeled ratios, bringing semi-supervised learning yet another step closer to match the performance of fully-supervised learning for semantic segmentation. Our code and data splits are available at: this https URL .

研究の動機と目的

• ノイズの多い疑似ラベルとクラスの不均衡による、半教師ありセマンティックセグメンテーションにおける未ラベルデータの低効率的利用を是正すること。
• 自己訓練と一貫性正則化の間のギャップを埋めるために、動的損失構築を通じて一貫性正則化を暗黙的に組み込むこと。
• アーキテクチャの変更や敵対的訓練を必要とせず、すべての未ラベルデータを効率的に活用できる手法を開発すること。
• ラベル付きデータの比率が異なる状況でも性能を向上させ、半教師あり学習を完全教師あり学習に近づけること。

提案手法

• DST-CBCは、モデル間の不一致と予測信頼度に基づいた動的損失を構築することで、疑似ラベルのノイズを低減する。
• 各クラスごとに信頼性の高い疑似ラベル付きサンプルを優先するクラスバランス型カリキュラム学習プロセスを導入し、学習の安定性を向上させる。
• 前方通過におけるモデルの一致度を活用することで、一貫性正則化を暗黙的に組み込み、モデルのロバストネスを強化する。
• 敵対的訓練を回避し、標準的なネットワークアーキテクチャを維持することで、互換性とシンプルさを確保する。
• 動的損失は学習中に繰り返し更新され、未ラベルデータの予測の信頼度と不一致に応じて適応的に変化する。
• 信頼度に基づくフィルタリングを通じて、疑似ラベルの品質を段階的に向上させることで、すべての未ラベルサンプルを効果的に活用できるフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を伴わず、ノイズの多い疑似ラベルを導入せずに、半教師ありセマンティックセグメンテーションにおける未ラベルデータを効率的かつ包括的に活用する方法は何か？
• RQ2 自己訓練と一貫性正則化の関係は何か？ そして、統合されたフレームワーク内でこれを暗黙的に活用できるか？
• RQ3 動的自己訓練と組み合わせた場合、クラスバランス型カリキュラム学習戦略はモデル性能の向上に寄与するか？
• RQ4 予測信頼度を用いて測定されるモデル間の不一致は、ノイズの多い疑似ラベルに対してどのようにロバストネスを向上させるか？
• RQ5 敵対的訓練やアーキテクチャの変更なしに、既存の最先端手法を上回る性能を発揮できる手法は存在するか？

主な発見

• DST-CBCは、複数のベンチマークデータセットにおいて、すべてのラベル付きデータ比率で最先端の性能を達成し、先行手法に対する一貫した改善を示した。
• 敵対的訓練やネットワークアーキテクチャの変更を用いずに、既存のアプローチを上回る性能を発揮した。
• モデル間の不一致と信頼度を活用することで、DST-CBCは自己訓練の過程でノイズの多い疑似ラベルの影響を顕著に低減した。
• クラスバランス型カリキュラム学習プロセスにより、代表が不足しているクラスが学習中に無視されないことが保証された。
• フレームワークは暗黙的に一貫性正則化を組み込み、明示的な設計を要せずともモデルのロバストネスが向上した。
• すべての未ラベルデータが効果的に活用されており、ラベル付きデータの比率が変化しても性能が向上する傾向が示された。