[論文レビュー] A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation

Jianlong Yuan, Yifan Liu+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Neural Network Applications参考文献 42被引用数 7

ひとこと要約

この論文は、強力なデータ拡張と、拡張によって引き起こされる分布シフトに対応するための新しい分布特異的バッチ正則化（DSBN）を活用することで、訓練の安定性を高める、シンプルだが効果的な半教師ありセマンティックセグメンテーションフレームワークを提案する。さらに、ノイズの多い疑似ラベルの影響を軽減するための自己補正損失（SCL）を導入し、ラベル付きデータのわずかな割合でのCityscapesおよびPascal VOCで最先端の性能を達成している。

ABSTRACT

Recently, significant progress has been made on semantic segmentation. However, the success of supervised semantic segmentation typically relies on a large amount of labelled data, which is time-consuming and costly to obtain. Inspired by the success of semi-supervised learning methods in image classification, here we propose a simple yet effective semi-supervised learning framework for semantic segmentation. We demonstrate that the devil is in the details: a set of simple design and training techniques can collectively improve the performance of semi-supervised semantic segmentation significantly. Previous works [3, 27] fail to employ strong augmentation in pseudo label learning efficiently, as the large distribution change caused by strong augmentation harms the batch normalisation statistics. We design a new batch normalisation, namely distribution-specific batch normalisation (DSBN) to address this problem and demonstrate the importance of strong augmentation for semantic segmentation. Moreover, we design a self correction loss which is effective in noise resistance. We conduct a series of ablation studies to show the effectiveness of each component. Our method achieves state-of-the-art results in the semi-supervised settings on the Cityscapes and Pascal VOC datasets.

研究の動機と目的

• セマンティックセグメンテーションにおけるピクセル単位のアノテーションの高コストを、半教師あり学習によって未ラベルデータを活用することで低減すること。
• 訓練中に強いデータ拡張がミニバッチ内の分布シフトを引き起こすことで生じるバッチ正則化統計の不安定性を克服すること。
• 自己訓練における教師モデルが生成するノイズの多い疑似ラベルの悪影響を軽減すること。
• 複雑なアーキテクチャやサブネットワークを用いずに、半教師ありセマンティックセグメンテーションで最先端のパフォーマンスを達成すること。

提案手法

• 訓練中に弱い拡張と強い拡張の入力に対して別々のバッチ統計を維持する分布特異的バッチ正則化（DSBN）を提案。
• 未ラベルデータに強力なデータ拡張（例：CutMix, MixUp）を適用して一般化性能を向上させつつ、DSBNによりバッチ正則化統計の安定性を確保。
• ノイズの多い予測を抑制するために、ピクセルごとに損失重みと学習ターゲットを動的に調整する自己補正損失（SCL）を導入。
• 教師が拡張済み未ラベルデータに対して疑似ラベルを生成し、学生がラベル付きデータと疑似ラベル付きデータの両方から学習する、標準的な学生-教師自己訓練パイプラインを採用。
• モデルの更新を繰り返す反復的訓練を実施し、複数サイクルにわたって予測を精緻化することで性能を向上。
• 推論では、弱い拡張データから計算されたバッチ統計を使用して、トレーニング分布と一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 強力なデータ拡張を適切にトレーニングパイプラインに統合することで、半教師ありセマンティックセグメンテーションの性能を顕著に向上させることができるか？
• RQ2 強い拡張によってミニバッチ内の分布シフトが顕著になる状況下で、バッチ正則化統計をどのように安定化できるか？
• RQ3 自己補正損失は、セマンティックセグメンテーションの自己訓練におけるノイズの多い疑似ラベルの悪影響をどの程度軽減できるか？
• RQ4 強力な拡張とDSBNを組み合わせたシンプルなフレームワークは、より複雑なアーキテクチャを上回る性能を発揮するか？

主な発見

• Cityscapesでラベル付きデータを1/8にした場合、DeepLabV2を用いることで70.1%のmIoUを達成し、DeepLabV3Plusを用いることで78.7%のmIoUを達成。これにより、先行研究の最先端手法を上回った。
• Pascal VOCでラベル付きデータを1/8にした場合、ResNet-101を用いることで75.0%のmIoUを達成し、Xception-65を用いることで79.3%のmIoUを達成。Xception-65では、完全に教師あり学習の性能に匹敵した。
• アブレーションスタディにより、DSBNと自己補正損失が重要な要素であることが確認され、DSBN単体でもベースラインからmIoUが2.9%向上した。
• 反復的訓練により性能がさらなる向上を示したが、数サイクルを過ぎると増幅効果が鈍り、収束していることが示された。
• 複数のサブネットワークなどのアーキテクチャ的変更なしに、最先端の結果を達成した。これは、シンプルで原理に則った設計選択の有効性を示している。
• ラベルノイズに対して頑健であり、複数のデータセットにわたる一般化性能も高く、DSBNとSCLの実世界における半教師あり学習設定での有効性が裏付けられた。