[論文レビュー] Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation

Zhen Zhao, Lihe Yang+4 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、標準的な教師-生徒フレームワーク内での洗練されたデータ拡張を活用することで性能を向上させる、シンプルでありながら効果的な半教師ありセマンティックセグメンテーション手法AugSegを提案する。強力なランダムな強度ベースの拡張と、適応的ラベルインジェクション拡張を用いることで、追加のモジュールや複雑な訓練手順を用いずに、Pascal VOC 2012およびCityscapesで新たなSOTA結果を達成した。

ABSTRACT

Recent studies on semi-supervised semantic segmentation (SSS) have seen fast progress. Despite their promising performance, current state-of-the-art methods tend to increasingly complex designs at the cost of introducing more network components and additional training procedures. Differently, in this work, we follow a standard teacher-student framework and propose AugSeg, a simple and clean approach that focuses mainly on data perturbations to boost the SSS performance. We argue that various data augmentations should be adjusted to better adapt to the semi-supervised scenarios instead of directly applying these techniques from supervised learning. Specifically, we adopt a simplified intensity-based augmentation that selects a random number of data transformations with uniformly sampling distortion strengths from a continuous space. Based on the estimated confidence of the model on different unlabeled samples, we also randomly inject labelled information to augment the unlabeled samples in an adaptive manner. Without bells and whistles, our simple AugSeg can readily achieve new state-of-the-art performance on SSS benchmarks under different partition protocols.

研究の動機と目的

• 追加のモジュールや訓練手順に依存する、近年の最先端の半教師ありセマンティックセグメンテーション（SSS）手法の複雑化に対処すること。
• 半教師あり設定に特化した、簡素化されたが効果的なデータ拡張戦略を通じてSSS性能を向上させること。
• 対照的学習や補助ネットワークといった複雑なメカニズムへの依存を減らしながら、SOTA性能を維持または上回ること。
• 洗練されたデータ摂動の設計が、SSSにおける複雑なモデルアーキテクチャーよりも優れた性能を発揮できることを示すこと。

提案手法

• 連続的な空間からサンプリングされた歪み強度を持つ変換のランダムな数を選び、離散的な探索空間を避ける、非常にランダムな強度ベースの拡張を提案する。
• 信頼度が低い未ラベル付きデータとラベル付きデータを混合することで、訓練の安定化と確認バイアスの低減を図る、適応的ラベルインジェクション拡張を導入する。
• 一貫性正則化を適用する標準的な教師-生徒フレームワークを採用し、訓練中は拡張を未ラベルデータにのみ適用する。
• 分布固有の正規化や複雑な損失バランスを含まない簡素化された拡張パイプラインを採用し、過学習や過剰歪みの緩和にランダム化に依存する。
• ランダムな強度ベースの拡張と適応的ラベルインジェクション拡張を併用するが、追加のネットワークヘッドや補正モジュールは一切使用しない。
• 標準的なクロスエントロピー損失と一貫性損失を用い、デフォルトの非教師あり損失重みλu=1.0と、1サンプルあたり最大3つの強度ベースの拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 シンプルで拡張に特化したアプローチが、複雑で多様なモジュールを有する最先端のSSS手法を上回ることができるか？
• RQ2 強度ベースの拡張設計におけるランダム化が、半教師あり学習における一般化性能とロバストネスに与える影響は何か？
• RQ3 未ラベルデータにラベル情報を適応的にインジェクションすることで、モデルの信頼度とセグメンテーション精度はどの程度向上するか？
• RQ4 拡張設計の簡素化が、既存のSSS手法に見られる過学習や過剰歪みの問題を軽減するのか？

主な発見

• Pascal VOC 2012で366枚のラベル付き画像を用いた場合、AugSegはさまざまな分割プロトコルにおいて、従来のSOTA手法を大きく上回る新たなSOTA性能を達成した。
• 提案されたランダムな強度ベースの拡張のみで、教師ありベースラインに対して10.76%、通常の平均教師ベースラインに対して3.35%の性能向上を達成した（VOC 2012、366ラベル）。
• 適応的ラベルインジェクション拡張は、教師ありベースラインに対して12.68%、平均教師ベースラインに対して5.27%の性能向上を示し、未ラベルデータにおける訓練の安定化に有効であることを実証した。
• 両方の拡張を組み合わせることで最良の性能が得られ、ResNet-50を用い366ラベルでVOC 2012で76.17%のmIoUを達成し、従来のSOTA結果を上回った。
• ハイパーパrameterの設定にかかわらず、性能が安定しており、選択された拡張数kを0から3に増加させても性能劣化が生じない。これは、固定選択戦略とは対照的である。
• アブレーションスタディにより、特定のハイパーパrameter設定が常に他の設定を上回るとは限らないことが確認され、簡素さと一貫性を考慮してデフォルト値（k=3, λu=1.0）を選択した根拠が裏付けられた。