[論文レビュー] Semi-supervised semantic segmentation needs strong, varied perturbations

Geoff French, Samuli Laine+3 more|arXiv (Cornell University)|Jun 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 162

ひとこと要約

この論文は、セマンティックセグメンテーションにおける一貫性正則化が難しい理由を分析し、強力で多様なマスクベースのデータ拡張（adapted CutOut/CutMix）を用いることで、Mean-Teacherフレームワーク内で自然画像に対して最先端の半教師ありセグメンテーションを達成することを示している。

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: https://github.com/Britefury/cutmix-semisup-seg.

研究の動機と目的

• セマンティックセグメンテーションのデータ分布と、それが一貫性正則化に及ぼす影響を評価する。
• ピクセルレベルのセグメンテーションにおいて、低密度領域がクラスを分離するかを特定する。
• セグメンテーションに適した強力な摂動データ拡張を開発・評価する。
• Mean-Teacher構成で適用したCutMixを用いて、最先端の半教師ありセグメンテーション結果を示す。

提案手法

• セグメンテーションのパッチレベルデータ密度を分析し、クラスタ仮定の妥当性を評価する。
• Mean Teacherモデルを用いた半教師ありセグメンテーションのために、CutOutとCutMix拡張を適応させる。
• 撹乱された入力に対する予測を教師生成ターゲットと比較するピクセル単位の一貫性損失を用いる。
• 低密度領域に依存せず、分散豊富な拡張戦略を用いて決定境界を制約する。
• Cityscapes、拡張されたPascal VOC、ISIC 2017で評価し、摂動の有効性を比較する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションは、標準的な分類と同様に、クラスを分離する低密度領域を示し、一貫性正則化に影響を与えるか。
• RQ2 明確な低密度領域がない場合に、強力で多様なマスクベースの拡張がセグメンテーションの半教師あり学習を効果的に可能にするか。
• RQ3 適応版CutOutとCutMix拡張は、自然画像データセットと医用画像データセットで、他の摂動と比較して半教師ありセグメンテーションでどのように性能を発揮するか？

主な発見

Labeled samples	1/100	1/50	1/20	1/8	All (where shown)
Cityscapes Baseline	44.41	55.25	60.57	67.53	67.53
Cityscapes Cutout	47.21	57.72	61.96	67.47	67.47
Cityscapes CutMix	51.20	60.34	63.87	67.68	67.68
Pascal VOC Baseline	33.09	43.15	52.05	60.56	72.59
Pascal VOC Cutout	48.73	58.26	64.37	66.79	72.03
Pascal VOC CutMix	53.79	64.81	66.48	67.60	72.54

• セマンティックセグメンテーションには明確な低密度のクラス間領域が欠如し、従来の一貫性正則化は難しい。
• 適応版CutOutとCutMixは強力で多様な撹乱を提供し、自然画像データセットで最先端の半教師ありセグメンテーション結果を生む。
• これらの拡張を用いたMean Teacherフレームワークは、Cityscapesおよび拡張されたPascal VOCで、いくつかの敵対的・標準拡張ベースラインを上回る。
• CutMixは、提案された摂動の中で通常、最も強い利益をもたらす。
• ISIC 2017の結果は、テストされた手法の中でSemi-supervised病変セグメンテーションにおいてCutMixが最も信頼性の高い拡張であることを示す。