[論文レビュー] Conflict-Based Cross-View Consistency for Semi-Supervised Semantic Segmentation

Zicheng Wang, Zhen Zhao+4 more|arXiv (Cornell University)|Mar 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、二本のブランチからなるフレームワークを用いて共訓練を強化する、新たな半教師ありセマンティックセグメンテーション手法であるConflict-Based Cross-View Consistency (CCVC)を提案する。特徴の不一致損失を用いたCross-View Consistency (CVC)を導入し、サブネットワークの崩壊を防ぎ、予測の矛盾を活用することで訓練を安定化させるConflict-Based Pseudo-Labeling (CPL)を採用し、Pascal VOC 2012の1/4ラベルスプリット設定において最先端の性能を達成した。

ABSTRACT

Semi-supervised semantic segmentation (SSS) has recently gained increasing research interest as it can reduce the requirement for large-scale fully-annotated training data. The current methods often suffer from the confirmation bias from the pseudo-labelling process, which can be alleviated by the co-training framework. The current co-training-based SSS methods rely on hand-crafted perturbations to prevent the different sub-nets from collapsing into each other, but these artificial perturbations cannot lead to the optimal solution. In this work, we propose a new conflict-based cross-view consistency (CCVC) method based on a two-branch co-training framework which aims at enforcing the two sub-nets to learn informative features from irrelevant views. In particular, we first propose a new cross-view consistency (CVC) strategy that encourages the two sub-nets to learn distinct features from the same input by introducing a feature discrepancy loss, while these distinct features are expected to generate consistent prediction scores of the input. The CVC strategy helps to prevent the two sub-nets from stepping into the collapse. In addition, we further propose a conflict-based pseudo-labelling (CPL) method to guarantee the model will learn more useful information from conflicting predictions, which will lead to a stable training process. We validate our new CCVC approach on the SSS benchmark datasets where our method achieves new state-of-the-art performance. Our code is available at https://github.com/xiaoyao3302/CCVC.

研究の動機と目的

• 偽ラベル付けと共訓練フレームワークにおけるモデルの崩壊が引き起こす確認バイアスを是正すること。
• 同じ入力の異なる、重複のない視点からサブネットワークが学習できるようにすることで、モデルの一般化性能を向上させること。
• 予測の不一致を活用するための、矛盾に基づく偽ラベル付け戦略を用いて、訓練を安定化させること。
• 特徴の多様性を保証しない手作業によるデータ拡張に依存するのを減らすこと。
• 最小限の完全にアノテートされたデータで最先端の性能を達成すること。

提案手法

• 二つのサブネットワークが抽出する特徴間の類似性を最小化するため、特徴の不一致損失を用いたCross-View Consistency (CVC)を導入し、無関係な視点からの学習を促進する。
• サブネットワーク間での知識移転を実現するため、クロス偽ラベル付けを採用し、予測の一貫性とモデルの認識能力を向上させる。
• 高い不一致を示すサブネットワークの予測を活用し、より強い監視信号を提供する、矛盾に基づく偽ラベル付け（CPL）を提案する。これにより、訓練の安定性が向上する。
• 不一致予測からの自己教師信号のバランスを取るために、重み付き一貫性損失（$\omega_c$）を用い、偏った偽ラベルに過剰適合するのを防ぐ。
• Pascal VOC 2012で、ResNet-101をバックボーンとするDeepLabv3+を用いた二本のブランチからなる共訓練フレームワーク内で本手法を適用する。
• ハイパーパramータの分析を実施し、一貫性と耐性のトレードオフを最適化するため、40エポックにわたりモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 サブネットワーク間の特徴の不一致を強制することで、共訓練ベースの半教師ありセマンティックセグメンテーションにおける崩壊を防げるか？
• RQ2 専用の偽ラベル付け戦略を用いて不一致予測を活用することで、訓練の安定性と性能が向上するか？
• RQ3 標準の一貫性正則化やCCR手法と比較して、矛盾に基づくアプローチは確認バイアスを低減できるか？
• RQ4 一貫性損失の重みが、不一致予測からの一般化能力にどのように影響するか？
• RQ5 1/4ラベルスプリットのような低監視設定下で、本手法はmIoUをどの程度向上させるか？

主な発見

• 提案手法であるCCVCは、Pascal VOC 2012データセットにおける1/4ラベルスプリット設定で、平均交差率（mIoU）74.0%を達成し、新たな最先端性能を樹立した。
• CVCの導入により、確認バイアスが低減された。これは、クロス一貫性正則化（CCR）と比較して、自信があるが誤った予測の割合が低いことから裏付けられた。
• 矛盾に基づく偽ラベル付け（CPL）により、訓練が安定化し、$\omega_c = 2.0$ のときmIoUが74.0%にピークに達した。
• 可視化結果から、イエローボックス内の不一致予測が訓練を経て徐々に一貫性を持つようになることが確認され、CPLの有効性が裏付けられた。
• CVCは、CCRや教師ありベースラインと比較して、mIoUと信頼性の両面で優れた性能を示した。CVRはより自信のある予測を生成するが、それらはしばしば誤りである。
• 本手法は、CCRやベースラインモデルが頻繁に見逃す、後輪の自転車や小さな物体など、区別が難しいオブジェクトのセグメンテーションにも成功している。