[論文レビュー] Structured Consistency Loss for semi-supervised semantic segmentation

JongMok Kim, Joo Young Jang+2 more|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 47

ひとこと要約

本論文は、ピクセル間の相関を考慮した構造化整合性損失を導入し、半教師あり意味セグメンテーションを強化し、CutMixを用いた効率性を改善し、Cityscapesのベンチマークで最高結果を達成した。

ABSTRACT

The consistency loss has played a key role in solving problems in recent studies on semi-supervised learning. Yet extant studies with the consistency loss are limited to its application to classification tasks; extant studies on semi-supervised semantic segmentation rely on pixel-wise classification, which does not reflect the structured nature of characteristics in prediction. We propose a structured consistency loss to address this limitation of extant studies. Structured consistency loss promotes consistency in inter-pixel similarity between teacher and student networks. Specifically, collaboration with CutMix optimizes the efficient performance of semi-supervised semantic segmentation with structured consistency loss by reducing computational burden dramatically. The superiority of proposed method is verified with the Cityscapes; The Cityscapes benchmark results with validation and with test data are 81.9 mIoU and 83.84 mIoU respectively. This ranks the first place on the pixel-level semantic labeling task of Cityscapes benchmark suite. To the best of our knowledge, we are the first to present the superiority of state-of-the-art semi-supervised learning in semantic segmentation.

研究の動機と目的

• ピクセル間相関を活用した整合性損失で半教師あり意味セグメンテーションを動機づける。
• ピクセル単位のセグメンテーションの計算効率を改善する構造化整合性損失を導入する。
• Cityscapesの検証セットとテストセットで最先端の性能を実証する。
• Cityscapesベンチマークにおけるピクセルレベルの意味ラベリングで1位を獲得することを示す。

提案手法

• Matched pixel pairsだけでなく、ピクセル間の相関をモデル化する構造化整合性損失を提案する。
• CutMixと組み合わせて計算量を削減する。
• 意味セグメーションの半教師あり学習の効率と有効性を向上させることを目指す。
• 報告されたmIoUスコアを用いてCityscapesベンチマークデータ（検証およびテスト）で実証的な向上を示す。

実験結果

リサーチクエスチョン

• RQ1 ピクセル間の関係を捉える構造化整合性損失は、半教師あり意味セグメンテーションの性能を改善できるか？
• RQ2 提案損失をCutMixと組み合わせた場合、計算量を削減しつつ精度を維持または向上させることができるか？
• RQ3 半教師あり設定におけるCityscapesベンチマーク指標に対する提案手法の影響は何か？

主な発見

• Cityscapes検証データで81.9 mIoUを達成。
• Cityscapesテストデータで83.84 mIoUを達成。