[論文レビュー] Mask-based Data Augmentation for Semi-supervised Semantic Segmentation

Ying Chen, Xu Ouyang+2 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Neural Network Applications参考文献 9被引用数 6

ひとこと要約

本論文では、ラベルなしデータから複雑で意味的に正しい増強サンプルを生成することで、ラベル付きデータが限られた状況下でも性能を向上させる、新しいマスクベースのデータ拡張手法ComplexMixを提案する。セグメンテーションマップを正方形に分割し、各領域のクラスラベルを予測した後、マスクを用いて選択されたクラスを貼り付けることで、増強の複雑さと意味的整合性のバランスを図る。Cityscapesデータセットにおいて、限られたラベル付きデータでも最先端のmIoUを達成した。

ABSTRACT

Semantic segmentation using convolutional neural networks (CNN) is a crucial component in image analysis. Training a CNN to perform semantic segmentation requires a large amount of labeled data, where the production of such labeled data is both costly and labor intensive. Semi-supervised learning algorithms address this issue by utilizing unlabeled data and so reduce the amount of labeled data needed for training. In particular, data augmentation techniques such as CutMix and ClassMix generate additional training data from existing labeled data. In this paper we propose a new approach for data augmentation, termed ComplexMix, which incorporates aspects of CutMix and ClassMix with improved performance. The proposed approach has the ability to control the complexity of the augmented data while attempting to be semantically-correct and address the tradeoff between complexity and correctness. The proposed ComplexMix approach is evaluated on a standard dataset for semantic segmentation and compared to other state-of-the-art techniques. Experimental results show that our method yields improvement over state-of-the-art methods on standard datasets for semantic image segmentation.

研究の動機と目的

• セマンティックセグメンテーションのための大規模なラベル付きデータセットを収集する際の高コストと人的労力の問題に対処すること。
• 高度なデータ拡張を用いてラベルなしデータを効果的に活用することで、半教師あり学習の性能を向上させること。
• 生成されたトレーニングサンプルにおける増幅の複雑さと意味的整合性のトレードオフをバランスさせること。
• セマンティックセグメンテーションにおける一貫性正則化を強化するデータ拡張戦略を開発すること。

提案手法

• 未ラベル画像のセグメンテーションマップを等分割な正方形に分割し、増幅のための領域を局所化する。
• 各正方形に対して、モデルがセマンティッククラスラベルを予測し、予測されたクラスの半分を混合用に選択する。
• 選択されたクラスに基づいてマスクを生成し、それを混合画像に貼り付けることで、意味的境界を保持する。
• 本手法は、学生モデルが混合画像における教師の予測と一致するように学習する、マイルドテイチャーフレームワークを用いる。
• 損失関数には、ラベル付きデータに対する教師付きクロスエントロピーと、疑似ラベルを用いた混合未ラベルサンプルに対する教師なしクロスエントロピーが含まれる。
• 教師モデルは学生の重みの指数移動平均を用いて更新され、一貫性正則化が強化される。

実験結果

リサーチクエスチョン

• RQ1 複雑さを制御しながら意味的整合性を維持するデータ拡張戦略は、半教師ありセマンティックセグメンテーションを改善できるか？
• RQ2 領域ごとのクラス予測を用いたマスクベースの増幅は、ランダムまたは単純な境界認識混合と比べてどのように異なるか？
• RQ3 ComplexMixは、低ラベルレジーム下で既存の最先端手法を上回る性能を示すか？
• RQ4 増幅の複雑さを制御することで、モデルの一般化性能と予測の一貫性のトレードオフにどの程度影響を与えるか？

主な発見

• ComplexMixは、Cityscapesデータセットにおいて最先端の性能を達成し、既存の手法を上回った。
• テストされたすべてのラベル付きデータの割合においてmIoUが向上し、特に低ラベル状況下でベースライン手法に比べて一貫した向上を示した。
• 領域ごとのクラス予測と選択的クラス貼り付けの使用により、ランダムまたは均一な混合と比較して、より意味的に整合性のとれた増強サンプルが得られた。
• アブレーションスタディにより、初期分割における正方形の数を制御することで、複雑さと正確さのバランスがうまくとられ、モデルの頑健性が向上することが確認された。
• マイルドテイチャーフレームワークとComplexMixを組み合わせることで、安定的かつ一貫性のある性能向上が得られ、構造的増幅を用いた一貫性正則化の有効性が示された。