[論文レビュー] ProCST: Boosting Semantic Segmentation Using Progressive Cyclic Style-Transfer

Shahaf Ettedgui, Shady Abu-Hussein+1 more|arXiv (Cornell University)|Apr 25, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、合成画像から実画像への高忠実度でコンテンツを保持する画像変換（ソース・イン・ターゲット、またはSiT）を生成するために、プログレッシブ・サイクリック・スタイル転送を用いた二段階フレームワーク、ProCSTを提案する。この手法により、画像分類のドメインギャップを低減する。マルチスケールネットワークを新規のサイクリックラベル損失で訓練することで、HRDA や DAFormer、ProDA といった従来の無教師ドメイン適応（UDA）手法の性能が向上し、GTA5→Cityscapes および Synthia→Cityscapes ベンチマークで最先端の mIoU の向上を達成した。

ABSTRACT

Using synthetic data for training neural networks that achieve good performance on real-world data is an important task as it can reduce the need for costly data annotation. Yet, synthetic and real world data have a domain gap. Reducing this gap, also known as domain adaptation, has been widely studied in recent years. Closing the domain gap between the source (synthetic) and target (real) data by directly performing the adaptation between the two is challenging. In this work, we propose a novel two-stage framework for improving domain adaptation techniques on image data. In the first stage, we progressively train a multi-scale neural network to perform image translation from the source domain to the target domain. We denote the new transformed data as "Source in Target" (SiT). Then, we insert the generated SiT data as the input to any standard UDA approach. This new data has a reduced domain gap from the desired target domain, which facilitates the applied UDA approach to close the gap further. We emphasize the effectiveness of our method via a comparison to other leading UDA and image-to-image translation techniques when used as SiT generators. Moreover, we demonstrate the improvement of our framework with three state-of-the-art UDA methods for semantic segmentation, HRDA, DAFormer and ProDA, on two UDA tasks, GTA5 to Cityscapes and Synthia to Cityscapes.

研究の動機と目的

• 合成画像（ソース）と現実世界の画像（ターゲット）の間のドメインギャップを解消すること。これは、合成データのみで学習した場合の性能低下を引き起こす。
• 直接的なドメイン適応や従来の画像間変換手法の限界を克服すること。これらの手法は、スタイル転送中にコンテンツを歪めたり、架空の物体を生成したりする。
• ソースアノテーションを保持しながらターゲットドメインの外観を模倣する高品質でコンテンツを保持する画像変換（SiT）を生成する手法を開発すること。
• 生成された SiT データを、元のソースデータの代わりに使用することで、既存の無教師ドメイン適応（UDA）手法の性能を向上させること。

提案手法

• 二段階フレームワークを提案する：まず、プログレッシブ・サイクリック・スタイル転送ネットワーク（ProCST）を訓練してソース画像をターゲットドメインに変換（SiTデータの生成）；次に、そのSiTデータを任意の標準的なUDA手法の入力として使用する。
• 両方向の画像ピラミッドアーキテクチャを設計し、ソースからターゲット（S→T）およびターゲットからソース（T→S）への変換を実行することで、サイクリック整合性を実現する。
• ソース画像とその変換されたSiT画像のセグメンテーションマップを比較することで、セマンティック整合性を強制する新規のサイクリックラベル損失を導入する。
• 敵対的損失、サイクリック整合性損失、知覚的損失に加え、サイクリックラベル損失を組み合わせることで、コンテンツの保持と視覚的リアリズムの両方を向上させる。
• 粗いスケールから細かいスケールへと段階的に訓練することで、学習の安定化と特徴の学習を改善する。
• 生成されたSiTデータを、最先端のUDAモデル（例：HRDA、DAFormer、ProDA）の事前処理入力として使用することで、実際のターゲットドメインへの適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブでマルチスケールなスタイル転送ネットワークは、従来の画像間変換手法よりも、合成画像と実画像の間のドメインギャップをより効果的に低減できるか？
• RQ2 サイクリックラベル損失の導入により、標準的なGANベースの手法と比較して、スタイル転送中のコンテンツ保持が顕著に向上するか？
• RQ3 ProCSTが生成するSiTデータを用いることで、画像分類における下流のUDA手法の性能がどの程度向上するか？
• RQ4 主な構成要素（例：ラベル損失、マルチスケール構造）のアブレーションが、変換画像の品質および最終的なセグメンテーション精度に与える影響はいかほどか？

主な発見

• ProCST は合成画像と実画像の間のドメインギャップを顕著に低減し、ソースのコンテンツを保持しながらターゲットドメインの外観を模倣するSiT画像を生成する。
• ラベル損失なしや単一スケールのバリアントと比較して、完全なProCSTモデルは、視覚的品質、テクスチャの正確性、セマンティック整合性の面で顕著に優れている。特に、道路のような複雑なテクスチャにおいて顕著である。
• HRDA や DAFormer、ProDA といった最先端のUDA手法と比較して、ProCSTが生成するSiTデータを統合することで、GTA5→Cityscapes および Synthia→Cityscapes ベンチマークの両方で一貫した mIoU の向上が達成された。
• 既存の画像間変換手法（例：CycleGAN、CUT、FDA）はコンテンツを保持できず、しばしば物体を歪めたり、架空の物体を生成したりするため、ソースアノテーションが無効化される。
• サイクリックラベル損失は不可欠である：この損失がないモデルは、視覚的には妥当な出力を生成するが、セマンティックに整合性がなく、下流のセグメンテーション性能が低下する。
• マルチスケールアーキテクチャは特徴の学習とテクスチャ転送を向上させ、特に道路や空のような挑戦的な領域では、単一スケールモデルがリアリズムを維持できないのと比較して顕著である。