[論文レビュー] Robust Semantic Segmentation with Superpixel-Mix

Gianni Franchi, Nacim Belkhir+5 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Neural Network Applications参考文献 90被引用数 6

ひとこと要約

本論文では、物体境界を保持しながらモデルの頑健性を向上させるために、画像間でスーパーピクセルを混合する新しいデータ拡張技術であるSuperpixel-mixを提案する。スーパーピクセルベースの混合と教師-生徒一貫性学習を組み合わせることで、Cityscapesにおける半教師ありセマンティックセグメンテーションで最先端の性能を達成し、分布シフトや汚染下でも精度、不確実性のキャリブレーション、頑健性の面で顕著な向上を示した。

ABSTRACT

Along with predictive performance and runtime speed, reliability is a key requirement for real-world semantic segmentation. Reliability encompasses robustness, predictive uncertainty and reduced bias. To improve reliability, we introduce Superpixel-mix, a new superpixel-based data augmentation method with teacher-student consistency training. Unlike other mixing-based augmentation techniques, mixing superpixels between images is aware of object boundaries, while yielding consistent gains in segmentation accuracy. Our proposed technique achieves state-of-the-art results in semi-supervised semantic segmentation on the Cityscapes dataset. Moreover, Superpixel-mix improves the reliability of semantic segmentation by reducing network uncertainty and bias, as confirmed by competitive results under strong distributions shift (adverse weather, image corruptions) and when facing out-of-distribution data.

研究の動機と目的

• 分布シフト、データ汚染、分布外入力の下で、深層畳み込みニューラルネットワーク（DCNN）のセマンティックセグメンテーションにおける頑健性の欠如に対処する。
• アンサンブルや複数回の順伝播を必要とせず、不確実性推定とキャリブレーションを改善することで、モデルの過信とバイアスを低減する。
• ラベル付きデータが限られた低ショットおよび半教師あり学習の状況での一般化性と頑健性を向上させる。
• 物体構造を尊重し、トレーニング中に意味的整合性を保つデータ拡張戦略を開発する。
• 多様な摂動および分布シフトの下で、精度と頑健性の両方の指標において最先端の性能を達成する。

提案手法

• 物体レベルのセグメンテーションに基づき、2つの画像間で同じピクセル領域（スーパーピクセル）を混合するデータ拡張手法であるSuperpixel-mixを導入する。これにより、物体境界が保持される。
• Watershed、SLIC、Felzenszwalbなどのアルゴリズムを用いてスーパーピクセルセグメンテーションを実行し、意味的構造を尊重する混合マスクを生成する。
• 教師-生徒一貫性学習フレームワークを採用し、生徒モデルが混合画像における教師の予測を再現するように訓練する。
• スーパーピクセル数（100～200／画像）と混合するスーパーピクセルの割合（最適は0.6）を最適化することで、混合プロセスを最適化する。
• 分布シフトや汚染を模擬する混合画像を用いた学習により、一般化性を向上させる。
• 推論時に単一の順伝播を実行するため、アンサンブルを必要とする不確実性推定手法と比較して計算効率が優れている。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルベースのデータ拡張は、分布シフトやデータ汚染下でのセマンティックセグメンテーションの頑健性を向上させることができるか？
• RQ2 既存の混合ベースの拡張手法と比較して、Superpixel-mixはエピステミックおよびアレアトリック不確実性をより効果的に低減するか？
• RQ3 スーパーピクセルアルゴリズムの選択（Watershed、SLIC、Felzenszwalb）がモデルの性能と頑健性に与える影響は何か？
• RQ4 限られたラベル付きデータで、Superpixel-mixは半教師ありセマンティックセグメンテーションにおいて最先端の結果を達成できるか？
• RQ5 複数回の順伝播やアンサンブル推論を必要とせず、モデルのキャリブレーションを向上させることができるか？

主な発見

• 100枚のラベル付き画像（1/30）でのCityscapes評価で、Superpixel-mixは54.11% ± 2.88 mIoUを達成し、ベースライン比で7.27%の向上を示した。
• 372枚のラベル付き画像（1/8）では、63.44% ± 0.88 mIoUを達成し、ベースライン比で8.60%の向上を示した。
• 744枚のラベル付き画像（1/4）では、65.82% ± 1.78 mIoUを達成し、ベースライン比で5.74%の向上を示した。
• Foggy CityscapesおよびRainy Cityscapesで最先端の性能を達成し、悪天候や画像汚染に対する優れた頑健性を示した。
• 予測不確実性とモデルバイアスが低減され、全テストデータ分割および摂動タイプにおいて一貫した改善が確認された。
• Watershedスーパーピクセルアルゴリズムが、テストされた手法の中で最高のmIoU（78.99%）を達成し、物体境界への感受性が強いことが示された。