[論文レビュー] Semi-supervised semantic segmentation needs strong, high-dimensional perturbations

Geoff French, Timo Aila+3 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 74

ひとこと要約

この論文は、半教師ありセマンティックセグメンテーションが分類より性能が低い主な理由として、意味的クラス間の低密度領域の欠如を特定している。強力で高次元のオーグメンテーション—特にCutOutおよびCutMixの変種—が、最先端の性能を達成できることを示しており、セマンティックセグメンテーションが半教師あり学習正則化子の厳密なベンチマークとして確立されている。

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: this https URL.

研究の動機と目的

• 半教師ありセマンティックセグメンテーションが半教師あり分類に比べて性能で劣る理由を調査すること。
• セマンティックセグメンテーションのデータ分布を分析し、一貫性正則化の根拠となるクラスタ仮説—中心的仮説—が成り立つかどうかを評価すること。
• データオーグメンテーション戦略が半教師ありセマンティックセグメンテーションの性能に与える影響を評価すること。
• セマンティックセグメンテーションが、半教師あり正則化子を評価するためのきびしいベンチマークとして機能しうることを提唱すること。

提案手法

• 著者らは、セマンティックセグメンテーションデータセットのデータ分布を分析し、クラス間で顕著な低密度領域が存在しないことを発見し、クラスタ仮説と矛盾することを明らかにした。
• CutOutおよびCutMixのオーグメンテーション技術を改変し、ピクセルレベルのセグメンテーションタスクに適した強力で高次元の摂動を生成した。
• この手法は、元の入力と摂動を加えた入力の間で予測の一貫性を強制するために訓練中に適用された。
• 標準的な一貫性正則化損失を用いて、摂動済みおよび元のサンプル間でのモデル予測を最適化した。
• 標準的な訓練プロトコルを用いて、標準的な半教師ありセマンティックセグメンテーションベンチマークでフレームワークを評価した。
• 再現性およびさらなるベンチマーク評価を可能にするために、実装を公開した。

実験結果

リサーチクエスチョン

• RQ1 半教師あり分類の成功に根拠を置くクラスタ仮説—中心的仮説—は、セマンティックセグメンテーションにおいて成り立つか？
• RQ2 既存の一貫性正則化手法が、半教師ありセマンティックセグメンテーションで性能を発揮できないのはなぜか？
• RQ3 CutMix や CutOut などの強力で高次元のデータオーグメンテーションは、セマンティックセグメンテーションにおける低密度領域の欠如を補うことができるか？
• RQ4 これらのオーグメンテーションは、半教師ありセマンティックセグメンテーションで最先端の性能を達成するか？
• RQ5 セマンティックセグメンテーションは、半教師あり学習正則化子を評価するための頑健なベンチマークとして機能できるか？

主な発見

• セマンティックセグメンテーションのデータ分布には、クラス間で顕著な低密度領域が存在せず、これがクラスタ仮説を損なう要因となり、標準的一貫性正則化の性能劣化を説明する。
• 改変されたCutOutおよびCutMixオーグメンテーションは、半教師ありセマンティックセグメンテーションの性能を顕著に向上させ、標準ベンチマークで最先端の結果を達成した。
• これらのオーグメンテーションの成功は、強力で高次元の摂動を生成でき、モデルのロバストネスを向上させることに起因する。
• セグメンテーションデータに低密度領域が存在しないことから、これは半教師あり学習手法の評価に、より困難で効果的なテストベッドとなる。
• 本論文は、高い複雑性と有益な幾何的仮説の欠如を理由に、セマンティックセグメンテーションが半教師あり正則化子を評価するきびしい酸テスト（acid test）として機能できることを確立した。