[論文レビュー] Semi-Supervised Semantic Segmentation via Marginal Contextual Information

Moshe Kimhi, Shai Kimhi+3 more|arXiv (Cornell University)|Aug 26, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、隣接ピクセルのイベント結合確率を用いて空間的文脈情報を活用することで、疑似ラベルの信頼度を精緻化する半教師ありセマンティックセグメンテーション手法S4MCを提案する。近接ピクセルをグループ化し、集団的なラベル信頼度に基づく緩いフィルタリング基準を適用することで、学習に使用可能な信頼性の高い未ラベル付きサンプルの数を増加させ、計算コストの増加を最小限に抑えながら最先端の性能を達成した。PASCAL VOC 12で366枚のラベル付き画像でのみ、mIoUを1.29向上させた。

ABSTRACT

We present a novel confidence refinement scheme that enhances pseudo labels in semi-supervised semantic segmentation. Unlike existing methods, which filter pixels with low-confidence predictions in isolation, our approach leverages the spatial correlation of labels in segmentation maps by grouping neighboring pixels and considering their pseudo labels collectively. With this contextual information, our method, named S4MC, increases the amount of unlabeled data used during training while maintaining the quality of the pseudo labels, all with negligible computational overhead. Through extensive experiments on standard benchmarks, we demonstrate that S4MC outperforms existing state-of-the-art semi-supervised learning approaches, offering a promising solution for reducing the cost of acquiring dense annotations. For example, S4MC achieves a 1.39 mIoU improvement over the prior art on PASCAL VOC 12 with 366 annotated images. The code to reproduce our experiments is available at https://s4mcontext.github.io/

研究の動機と目的

• セマンティックセグメンテーションにおける高コストなアノテーション問題に取り組むため、半教師あり学習における疑似ラベルの品質と利用効率を向上させること。
• 個々の高信頼度予測に依存するのを減らすために、空間的文脈を組み込むことで疑似ラベル作成における確認バイアスを軽減すること。
• ラベル品質を損なわせることなく、トレーニング中に利用可能な未ラベル付きサンプルの数を増やすこと。
• バックボーンやトレーニングパイプラインを変更せずに、計算コストを最小限に抑えつつ高い性能を維持する軽量で効率的な手法を開発すること。
• 低ショット設定下での標準ベンチマーク（PASCAL VOC 12 や Cityscapes）で最先端の結果を示すこと。

提案手法

• S4MCは、隣接ピクセルをグループ化し、局所的領域内で少なくとも1つのピクセルが特定のクラスに属する確率（イベント結合確率）を計算することで、信頼度を精緻化するスキームを導入する。
• あるクラスに対するピクセルのイベント結合確率が他のすべてのクラスよりも顕著に高い場合に、そのピクセルに疑似ラベルを割り当てる。これにより、個々のピクセルの信頼度閾値に比べて緩いフィルタリングが可能になる。
• 初期分位数（α₀）に基づく動的閾値を用い、40%がラベル伝搬と誤り抑制のバランスを最適に保つと判明した。
• 近傍領域は固定サイズのカーネル（例：3×3）で定義され、グループ内の予測クラス確率が最大のピクセルを代表として選ぶことで、近傍ピクセルの選択が最適化される。
• FixMatch や CutMix-Seg といった既存のSSLフレームワークに統合され、バックボーンやトレーニングパイプラインを変更せずに、疑似ラベルの品質が向上する。
• 計算コストの増加は無視できるほど小さく、実世界の導入において実用的である。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマップにおける空間的文脈を活用することで、半教師あり学習における疑似ラベルの信頼性を向上させられるか？
• RQ2 隣接ピクセルの集団的信頼度評価は、個々のピクセルのフィルタリングに比べ、確認バイアスを低減できるか？
• RQ3 イベント結合確率に基づく緩いフィルタリング基準は、モデル性能を劣化させることなく、利用可能な未ラベル付きサンプルの数を増加させられるか？
• RQ4 近傍領域のサイズと近傍ピクセル選択戦略の選択が、最終的なセグメンテーション精度に与える影響は何か？
• RQ5 文脈的信頼度精緻化は、低ショット半教師ありセグメンテーションベンチマークでどの程度性能向上をもたらすか？

主な発見

• S4MCは、PASCAL VOC 12で366枚のラベル付き画像のみを用いて、先行研究の最先端手法を1.29 mIoU上回った。これは、低データ環境下でも優れた性能を示している。
• Cityscapesでも、186枚のラベル付き画像でのみ、+1.01 mIoUの向上を達成し、多様なデータセットにわたる有効性を確認した。
• アブレーションスタディでは、3×3の近傍サイズに最大クラス確率を持つ1ピクセルを選択する戦略が、最高の性能をもたらした。
• 初期信頼度閾値α₀ = 40%が、ラベルカバレッジと誤り抑制の最良のトレードオフを提供し、低くても高くても劣る結果となった。
• 疑似ラベル精緻化（PLR）モジュール単体でmIoUが1.09%向上したが、動的パーティション調整（DPA）単体では性能が低下した。これは、空間的一致性が向上の主因であることを示している。
• 推論時におけるS4MCの適用は、性能向上がほとんどなかった（85.7から85.71 mIoUに）。これは、主な利益がトレーニング時のラベル精緻化に起因していることを裏付けた。