[論文レビュー] Improving Semantic Segmentation via Self-Training

Yi Zhu, Zhongyue Zhang+7 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 80被引用数 34

ひとこと要約

この論文は、教師モデルが未ラベルデータに対して疑似ラベルを生成し、実ラベルと疑似ラベルの混合で student を訓練する自己学習フレームワークを導入し、監視レベルを大幅に削減しつつ高速な訓練スケジュールで最先端の結果を達成する。

ABSTRACT

Deep learning usually achieves the best results with complete supervision. In the case of semantic segmentation, this means that large amounts of pixelwise annotations are required to learn accurate models. In this paper, we show that we can obtain state-of-the-art results using a semi-supervised approach, specifically a self-training paradigm. We first train a teacher model on labeled data, and then generate pseudo labels on a large set of unlabeled data. Our robust training framework can digest human-annotated and pseudo labels jointly and achieve top performances on Cityscapes, CamVid and KITTI datasets while requiring significantly less supervision. We also demonstrate the effectiveness of self-training on a challenging cross-domain generalization task, outperforming conventional finetuning method by a large margin. Lastly, to alleviate the computational burden caused by the large amount of pseudo labels, we propose a fast training schedule to accelerate the training of segmentation models by up to 2x without performance degradation.

研究の動機と目的

• ピクセル完璧な注釈への依存を減らすため、未ラベルデータを活用する。
• 教師-生徒自己学習フレームワークが複数の運転シーンデータセットで性能を向上させることを示す。
• 疑似ラベルのクラス不均衡とノイズをセントロイドサンプリングで対処する。
• 大規模な拡張疑似ラベルデータセットでも性能を落とさず高速な訓練スケジュールを開発する。
• ターゲットドメインから新しいカテゴリを学習することを含むクロスドメイン一般化の利点を示す。

提案手法

• ラベル付きデータで教師モデルを訓練し、未ラベル画像に対して高品質の疑似ラベルを生成する。
• 大規模な未ラベルセットで疑似ラベルを生成し、それを実ラベルと組み合わせて student モデルを訓練する。
• セントロイドサンプリングを用いて疑似ラベルへのクラスバランスの露出を確保し、ノイズを軽減する。
• 訓練を速くするために互い違いにクロップサイズを用いる高速訓練スケジュールを提案する（coarse2fine, fine2coarse, およびその派生）。
• 限られたターゲット注釈で Cityscapes-to-Mapillary の自己訓練を適用してクロスドメイン一般化を実証する。

実験結果

リサーチクエスチョン

• RQ1 自己訓練による疑似ラベルが、運転シーンデータセット上の完全監督ベースラインを超える性能向上をもたらすのか？
• RQ2 セントロイドサンプリングは自己訓練設定におけるラベルノイズとクラス不均衡を効果的に軽減できるのか？
• RQ3 大規模な疑似ラベル付きデータセットの訓練時間を substantially に削減しつつ、精度を維持する高速訓練スケジュールは機能するのか？
• RQ4 新しいカテゴリと限られた注釈を持つターゲットドメインへ転送したとき、自己訓練はクロスドメイン一般化を改善するのか？

主な発見

モデル	実ラベル	疑似ラベル	mIoU (%)
Teacher	3K Cityscapes fine annotations	-	78.1
Student	1.5K real + 1.5K pseudo (Cityscapes coarse)	-	79.0
Student	1.5K real + 4.5K pseudo	-	79.3

• 自己訓練は Cityscapes の検証 mIoU を 78.1 から 79.0 に改善し、Cityscapes coarse と Mapillary 疑似ラベルを使用した場合。
• 実ラベル 1.5K と疑似ラベル 1.5K を使用すると 79.3% の mIoU を得られ、疑似ラベルの量を増やすとさらなる向上が得られる（アブレーションでは例として 79.7%、79.9%、80.0%）。
• 本手法はバックボーンやアーキテクチャを超えて一般化し、ベースラインを上回り Mapillary データで事前学習したモデルと同等またはそれ以上を達成する。
• 高速訓練スケジュール（coarse2fine+）は、精度の損失なしに最大で 1.7–1.8x のスピードアップを実現（Cityscapes 検証でのベースライン 80.0% mIoU に対して）。
• クロスドメインタスクでは、ソースからの疑似ラベルと限られたターゲット注釈を用いた自己訓練が新しいカテゴリを含む競争力のある結果を達成し、単純なファインチューニングを上回り Mapillary 事前学習性能に近づく。