[論文レビュー] n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation

Dominik Filipiak, Piotr Tempczyk+1 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

この論文は、半教師ありセマンティックセグメンテーションのためのクロス疑似監視（CPS）の一般化であるn-CPSを提案する。n-CPSは、相互一貫性正則化とone-hotエンコーディングの摂動を用いて、n個のニューラルネットワークを同時に学習する。推論時にすべてのn個のネットワークをアンサンブル化することで、Pascal VOC 2012（1/16〜1/2の教師ありデータレジーム）およびCityscapes（1/16）で、CutMixを組み合わせた場合に、従来の手法を上回る新たなSOTA性能を達成する。

ABSTRACT

We present n-CPS - a generalisation of the recent state-of-the-art cross pseudo supervision (CPS) approach for the task of semi-supervised semantic segmentation. In n-CPS, there are n simultaneously trained subnetworks that learn from each other through one-hot encoding perturbation and consistency regularisation. We also show that ensembling techniques applied to subnetworks outputs can significantly improve the performance. To the best of our knowledge, n-CPS paired with CutMix outperforms CPS and sets the new state-of-the-art for Pascal VOC 2012 with (1/16, 1/8, 1/4, and 1/2 supervised regimes) and Cityscapes (1/16 supervised).

研究の動機と目的

• 推論時に2ネットワークのCPS設定で使用される1つのネットワークのみを効率的に活用するのではなく、2番目のネットワークを学習後破棄するという非効率性を解消すること。
• CPSフレームワークを2つのネットワークを超えて一般化し、複数ネットワーク学習による一貫性正則化とモデルのロバスト性を向上させること。
• 相互一貫性正則化で学習された複数のサブネットワークをアンサンブルすることで、単一ネットワーク推論よりも優れた推論性能が得られるかどうかを検証すること。
• Pascal VOC 2012およびCityscapesを含む、さまざまな教師ありデータレジームとデータセットにおけるn-CPSの有効性を評価すること。
• CutMixなどのデータ拡張技術とn-CPSを組み合わせることで、さらなる性能向上が得られるかどうかを調査すること。

提案手法

• n-CPSは、同じアーキテクチャだが異なる重み初期化を持つn個のサブネットワークを学習し、それぞれが入力画像のクラス確率マップを出力する。
• 一貫性正則化は、1つのネットワークの予測と、他のネットワークのone-hotエンコーディング摂動（pmax）を施した予測との間の交差エントロピー損失を最小化することで強制される。
• CPS損失は、各ネットワークの予測と、他のすべてのネットワークの摂動付き予測との間の交差エントロピー損失の平均として計算される。
• 教師あり損失は、ラベル付きデータに対して標準的な交差エントロピーで計算され、ラベルなしデータは一貫性損失の計算に使用される。
• アンサンブル推論戦略により、すべてのn個のネットワークの予測を投票することで、最終的なセグメンテーション精度を向上させる。
• CutMix拡張と組み合わせることで、さらに一般化性能とラベルなしデータに対するロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 2つ以上のネットワークをクロス疑似監視で学習することで、半教師ありセマンティックセグメンテーションの性能を向上させられるか？
• RQ2 相互一貫性正則化で学習された複数のネットワークの予測をアンサンブルすることで、単一ネットワーク推論よりも高い推論精度が得られるか？
• RQ3 n ≥ 3の状態で、ネットワーク数の増加に伴い、さまざまなデータレジームにおけるn-CPSの性能スケーリングはどのように変化するか？
• RQ4 n-CPSをCutMix拡張と組み合わせることで、Pascal VOC 2012やCityscapesなどのベンチマークデータセットでさらに性能向上が得られるか？
• RQ5 CPS、Mean Teacher、ReCoといった既存のSOTA手法と比較して、n-CPSは低教師ありデータ設定においてどのように性能を発揮するか？

主な発見

• n=3とCutMixを用いたn-CPSは、1/16の教師ありデータでPascal VOC 2012で79.2%のmIoUを達成し、新たなSOTAを記録した。
• Pascal VOC 2012において、n-CPSはCutMixを組み合わせた場合、従来のSOTAであるCPS手法を1.2%のmIoU向上で上回った。
• Pascal VOC 2012の1/8、1/4、1/2の教師ありデータレジームにおいて、n-CPSはすべてのResNet-50およびResNet-101設定でCPSを上回るmIoUを安定して達成した。
• Cityscapesでは1/16の教師ありデータで、n-CPSにCutMixを組み合わせた場合、73.8%のmIoUを達成し、これまでの手法を上回る新たなSOTAを記録した。
• アブレーションスタディの結果、複数ネットワークの一貫性正則化とアンサンブル推論の両方が、性能向上に顕著な貢献をしていることが確認された。
• 本手法は、強力な一般化性能を示し、テストされたすべてのデータレジームおよびバックボーンアーキテクチャ（ResNet-50およびResNet-101）で一貫した向上を示した。