[論文レビュー] Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation

Luigi Musto, Andrea Zinelli|arXiv (Cornell University)|Sep 2, 2020

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、セマンティックセグメンテーションにおけるドメイン適応のための意味的適応型画像間変換フレームワークを提案する。生成器は予測されたセマンティックマップに条件付けられ、ドメイン間の一貫性が向上する。対称的交差エントロピー損失とSPADEベースの正規化を統合することで、DeepLabV2およびFCN8sを用いてGTA5→Cityscapesで+3.7%、SYNTHIA→Cityscapesで+2.5%のSOTA mIoU向上を達成した。

ABSTRACT

Domain shift is a very challenging problem for semantic segmentation. Any model can be easily trained on synthetic data, where images and labels are artificially generated, but it will perform poorly when deployed on real environments. In this paper, we address the problem of domain adaptation for semantic segmentation of street scenes. Many state-of-the-art approaches focus on translating the source image while imposing that the result should be semantically consistent with the input. However, we advocate that the image semantics can also be exploited to guide the translation algorithm. To this end, we rethink the generative model to enforce this assumption and strengthen the connection between pixel-level and feature-level domain alignment. We conduct extensive experiments by training common semantic segmentation models with our method and show that the results we obtain on the synthetic-to-real benchmarks surpass the state-of-the-art.

研究の動機と目的

• 合成データで訓練されたモデルを現実世界のシナリオに適応させるために、ドメインシフトを緩和する。
• セグメンテーションタスクの意味を考慮しない従来の画像間変換手法の限界を克服する。
• 画像変換とセグメンテーション予測を同時に最適化することで、ソースドメインとターゲットドメインの間の整合性を強化する。
• GTA5およびSYNTHIAの合成データを活用し、Cityscapesなどの現実世界ベンチマークにおける汎化性と性能を向上させる。
• セグメンテーションネットワークと変換ネットワークが互いに条件付けられる統合フレームワークを構築し、特徴量レベルおよびピクセルレベルのドメイン整合性を向上させる。

提案手法

• ソース画像 $X_S$ からセグメンテーションネットワーク $M$ を用いてセマンティックマップを生成し、それらが画像変換生成器 $F_{S\rightarrow T}$ の条件付けに用いられる。
• SPADE（空間的適応型バッチ正規化）レイヤーを用いて、セマンティックマップに基づくインスタンス固有の正規化を実装する。
• 元のソース画像と変換済み画像の予測間の対称的交差エントロピー損失 $\mathcal{L}_{SCE}$ を用いて、ドメイン間のセマンティック一貫性を強制する。
• セグメンテーションネットワークを変換モデルと同時にエンドツーエンドで学習し、ソース画像および変換済み画像の両方でセグメンテーションヘッドの重みを共有する。
• 翻訳画像の現実性と意味的正確性を向上させるために、セグメンテーションディスクラミネーター $D_{\text{seg}}$ を用いた adversarial 学習を導入する。
• 特徴量レベルの整合性は adversarial 損失、ピクセルレベルの一貫性は $\mathcal{L}_{SCE}$ を通じて確保され、ドメイン間で予測クラス分布が安定していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 意味的ガイドラインは、セマンティックセグメンテーションのための教師なしドメイン適応における画像間変換の質とドメイン整合性を向上させるか？
• RQ2 変換生成器を予測されたセマンティックマップに条件付けた場合、下流のセグメンテーションモデルの性能にどのような影響を与えるか？
• RQ3 ソース画像と変換済み画像の間で対称的交差エントロピー損失を強制することで、ドメイン一般化がどの程度向上するか？
• RQ4 SPADEベースの正規化とタスクに特化した一貫性損失を組み合わせることで、従来のSOTA手法に比べてより高いmIoUが達成されるか？
• RQ5 初期の視覚的ドメインギャップ（例：GTA5とCityscapes、SYNTHIAとCityscapes）は、変換品質とセグメンテーション性能にどのように影響するか？

主な発見

• DeepLabV2を用いたGTA5→CityscapesベンチマークでmIoUが50.4を達成し、前回SOTAを+3.7%上回った。
• FCN8sを用いたSYNTHIA→Cityscapesベンチマークでは、前回SOTAを+2.5%上回るmIoU向上を達成した。
• アブレーションスタディの結果、SPADEまたは $\mathcal{L}_{SCE}$ を除去するとmIoUが低下し、両方のコンponentsが最適性能を達成するために不可欠であることが確認された。
• GTA5の変換画像のFréchet Inception Distance (FID) は27.9であり、SYNTHIAの100.8よりも顕著に低く、Cityscapesとの視覚的整合性が優れていることを示している。
• Inception Score (IS ≈ 4.9–5.0) が低くても、FIDの結果から意味的ガイドラインが視覚的リアリズムとドメイン転送品質を向上させていることが確認された。
• GTA5→Cityscapesでは、実際のラベルで訓練されたオラクルモデル（上界）とのギャップを14.7%縮小し、強力なドメイン適応能力を示した。