[論文レビュー] Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization

Daiqing Li, Junlin Yang+3 more|arXiv (Cornell University)|Apr 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 88被引用数 9

ひとこと要約

本論文は、画像とラベルの分布を同時にモデル化することで、最小限のラベル付きデータで半教師あり学習を可能にする、生成的敵対ネットワーク（GAN）ベースのフレームワークを提案する。テスト時における潜在コードの最適化と、推論された埋め込みから得られるセマンティックマスクの生成により、ドメイン内での最先端性能と、かつてないレベルのドメイン外一般化性能を達成しており、医療画像分野におけるCTからMRIへの転移、および実写顔から絵画・彫刻・動物の顔への転移が可能である。

ABSTRACT

Training deep networks with limited labeled data while achieving a strong generalization ability is key in the quest to reduce human annotation efforts. This is the goal of semi-supervised learning, which exploits more widely available unlabeled data to complement small labeled data sets. In this paper, we propose a novel framework for discriminative pixel-level tasks using a generative model of both images and labels. Concretely, we learn a generative adversarial network that captures the joint image-label distribution and is trained efficiently using a large set of unlabeled images supplemented with only few labeled ones. We build our architecture on top of StyleGAN2, augmented with a label synthesis branch. Image labeling at test time is achieved by first embedding the target image into the joint latent space via an encoder network and test-time optimization, and then generating the label from the inferred embedding. We evaluate our approach in two important domains: medical image segmentation and part-based face segmentation. We demonstrate strong in-domain performance compared to several baselines, and are the first to showcase extreme out-of-domain generalization, such as transferring from CT to MRI in medical imaging, and photographs of real faces to paintings, sculptures, and even cartoons and animal faces. Project Page: \url{https://nv-tlabs.github.io/semanticGAN/}

研究の動機と目的

• 特に専門家によるラベル付けが高コストな医療画像分野など、セマンティックセグメンテーションのようなピクセル単位の高密度ラベルタスクにおける高いラベル付けコストの課題に対処すること。
• 異なる画像モality（例：CTからMRI）やアート表現（例：絵画、コマーシャル）といったドメイン外データへの一般化に限界を示す判別モデルの課題を克服すること。
• 少数のラベル付き例と大規模な未ラベルデータを組み合わせることで、効果的な半教師あり学習を可能にすること。
• 画像とそのセマンティックラベルの同時分布をモデル化する統合的生成フレームワークを構築し、新規ドメインへのゼロショットおよびフェイシュット適応を可能にすること。

提案手法

• 画像とセグメンテーションマスクの同時分布をモデル化するため、StyleGAN2を条件付き生成器として適応し、ラベル合成専用のブランチを追加する。
• 画像とマスクの判別器を用いて、生成画像とラベルのリアルさを保証する敵対的最適化を実施する。
• 入力画像を潜在コードにマッピングするための別個のエンコーダーネットワークを用い、画像およびマスクの再構成損失に基づく教師あり学習を実施する。
• テスト時最適化により、入力画像を再構成する潜在コードを精緻化し、最適化された埋め込みからラベルを生成する。
• 訓練済みの生成モデルを活用して、大規模かつ完全にアノテーションされた合成データを生成し、判別型セグメンテーションネットワークの学習に用いる。
• トランクレータションと多様性に基づくサンプリング戦略を用いて、データ拡張および転移学習に適した高品質な合成データを生成する。

Figure 1 : Out-of-domain Generalization. Our model trained on real faces generalizes to paintings, sculptures, cartoons and even outputs plausible segmentations for animal faces. When trained on chest x-rays, it generalizes to multiple hospitals, and even hallucinates lungs under clothed people. Our

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータを最小限に抑えた状態で、画像とラベルの同時分布を学習する純粋な生成モデルが、セマンティックセグメンテーションにおいて競争力のある性能を達成できるか？
• RQ2 生成モデルが、異なる画像モダリティ（例：CTからMRI）やアート表現（例：絵画、アニメ）といったドメイン外入力に対し、どの程度一般化できるか？
• RQ3 本モデルの性能は、ドメイン内および極端なドメイン外設定において、判別型ベースラインと比較してどの程度優れているか？
• RQ4 この半教師あり生成フレームワークにおいて、ラベル付きデータと未ラベルデータの相対的価値は何か？また、データ量の変化がセグメンテーションのmIoUに与える影響は？
• RQ5 生成モデルを用いて、下流の判別型セグメンテーションモデルの学習に適した高品質で多様性があり有用な訓練データを合成できるか？

主な発見

• 提案手法は、CelebA-MaskでmIoU 0.7600、MetFaces-40でmIoU 0.6336を達成し、ドメイン内およびドメイン外両設定で強力なベースラインを上回った。
• 150枚のラベル付きデータと3,000枚の未ラベルデータでの学習でもmIoU 0.7046を達成し、1,500枚のラベル付きデータと28,000枚の未ラベルデータ（mIoU 0.7566）を用いた場合と同等の性能を示し、高いデータ効率を示した。
• 本モデルによって生成された合成データは、下流のセグメンテーション性能を向上させた。混合戦略を用いて20,000枚の合成サンプルを用いた場合、MetFacesでmIoU 0.7192に達し、実データのみを用いたベースラインを上回った。
• モデルは極端なドメイン外入力に対しても顕著に一般化でき、実際の人の顔のみで学習したにもかかわらず、動物の顔、彫刻、コマーシャルの顔に対しても妥当なセグメンテーションを生成した。
• 潜在空間におけるテスト時最適化により、直接エンコーダー推論よりも顕著に性能向上が見られた。これは、潜在空間での精緻化の重要性を示している。
• 生成アプローチは、合成データで学習した判別型モデルおよび実データベースラインを上回り、フェイシュットおよびゼロショットセグメンテーション分野で新たなSOTAを確立した。

Figure 2 : Model Overview. Generator $G$ and discriminators $D_{m}$ and $D_{r}$ are trained with adversarial objectives $\mathcal{L}_{G}$ (not indicated here), $\mathcal{L}_{D_{m}}$ and $\mathcal{L}_{D_{r}}$ . We do not backpropagate gradients from ${D_{m}}$ into the generator’s image synthesis bran