Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization

Daiqing Li, Junlin Yang|arXiv (Cornell University)|2021. 04. 12.
Generative Adversarial Networks and Image Synthesis참고 문헌 88인용 수 9
한 줄 요약

이 논문은 이미지와 레이블 분포를 동시에 모델링하는 생성적 적대적 네트워크(GAN)-기반 프레임워크를 제안하여, 최소한의 레이블 데이터로도 준지도 학습을 가능하게 한다. 테스트 시점에 잠재 코드를 최적화하고 유추된 임bedding에서 세그멘테이션 마스크를 생성함으로써, 이 방법은 도메인 내 성능에서 최신 기준을 달성하고, 도메인 외 일반화 능력이 뛰어나 의료 영상에서 CT에서 MRI로, 실제 얼굴에서 그림, 조각, 동물 얼굴로까지 전이가 가능하다.

ABSTRACT

Training deep networks with limited labeled data while achieving a strong generalization ability is key in the quest to reduce human annotation efforts. This is the goal of semi-supervised learning, which exploits more widely available unlabeled data to complement small labeled data sets. In this paper, we propose a novel framework for discriminative pixel-level tasks using a generative model of both images and labels. Concretely, we learn a generative adversarial network that captures the joint image-label distribution and is trained efficiently using a large set of unlabeled images supplemented with only few labeled ones. We build our architecture on top of StyleGAN2, augmented with a label synthesis branch. Image labeling at test time is achieved by first embedding the target image into the joint latent space via an encoder network and test-time optimization, and then generating the label from the inferred embedding. We evaluate our approach in two important domains: medical image segmentation and part-based face segmentation. We demonstrate strong in-domain performance compared to several baselines, and are the first to showcase extreme out-of-domain generalization, such as transferring from CT to MRI in medical imaging, and photographs of real faces to paintings, sculptures, and even cartoons and animal faces. Project Page: \url{https://nv-tlabs.github.io/semanticGAN/}

연구 동기 및 목표

  • 의료 영상과 같이 전문가 레이블링이 비용이 많이 드는 분야에서 밀도 높은 픽셀 수준 작업인 세그멘테이션의 높은 레이블링 비용 문제를 해결한다.
  • 다른 영상 모odal리티나 예술적 표현과 같은 도메인 외 데이터로 일반화하는 데에 한계가 있는 판별 모델의 한계를 극복한다.
  • 소량의 레이블 데이터와 함께 대규모의 비라벨 데이터를 활용하여 효과적인 준지도 학습을 가능하게 한다.
  • 이미지와 그 세그멘테이션 레이블의 결합 분포를 모델링하는 통합된 생성 프레임워크를 개발하여, 새로운 도메인에 대한 제로샷 및 퍼스트샷 적응을 가능하게 한다.

제안 방법

  • 이미지와 세그멘테이션 마스크의 결합 분포를 모델링하기 위해 스타일 GAN2를 조건부 생성자로 변형하고, 전용 레이블 합성 브랜치를 추가한다.
  • 이미지 및 마스크 판별자 모두가 현실적인 이미지와 레이블 생성을 보장하도록, 생성자와 판별자들을 적대적 목적함수로 훈련시킨다.
  • 입력 이미지를 잠재 코드로 매핑하기 위해 별도의 인코더 네트워크를 사용하며, 이미지와 마스크에 대해 지도 학습 재구성 손실을 적용한다.
  • 테스트 시점 최적화를 수행하여 입력 이미지를 재구성하는 데 최적화된 잠재 코드를 얻고, 그 최적화된 임베딩에서 레이블을 생성한다.
  • 훈련된 생성 모델을 활용해 대규모의 완전히 레이블링된 합성 데이터를 생성하여 판별적 세그멘테이션 네트워크를 훈련시킨다.
  • 절단(Truncation) 및 다양성 기반 샘플링 전략을 적용하여 데이터 증강 및 전이 학습을 위한 고품질의 합성 데이터를 생성한다.
Figure 1 : Out-of-domain Generalization. Our model trained on real faces generalizes to paintings, sculptures, cartoons and even outputs plausible segmentations for animal faces. When trained on chest x-rays, it generalizes to multiple hospitals, and even hallucinates lungs under clothed people. Our
Figure 1 : Out-of-domain Generalization. Our model trained on real faces generalizes to paintings, sculptures, cartoons and even outputs plausible segmentations for animal faces. When trained on chest x-rays, it generalizes to multiple hospitals, and even hallucinates lungs under clothed people. Our

실험 결과

연구 질문

  • RQ1단지 이미지-레이블 결합 분포를 학습하는 순수 생성 모델이 소량의 레이블 데이터로도 경쟁 가능한 세그멘테이션 성능을 달성할 수 있는가?
  • RQ2생성 모델이 CT에서 MRI로의 다른 영상 모달리티나 그림, 만화 등과 같은 예술적 표현과 같은 도메인 외 입력으로 얼마나 잘 일반화되는가?
  • RQ3이러한 준지도 학습 생성 프레임워크에서 판별 모델 기반 기준선과 비교해 성능가능성은 어떠한가? 특히 도메인 내 및 극단적인 도메인 외 설정에서의 성능를 비교한다.
  • RQ4이 프레임워크에서 레이블 데이터와 비레이블 데이터의 상대적 가치는 무엇이며, 데이터 양이 세그멘테이션 mIoU에 어떤 영향을 미치는가?
  • RQ5생성 모델을 사용해 후속 판별적 세그멘테이션 모델의 훈련을 위한 고품질, 다양성 있고 유용한 훈련 데이터를 합성할 수 있는가?

주요 결과

  • 제안된 방법은 CelebA-Mask에서 mIoU 0.7600, MetFaces-40에서 mIoU 0.6336을 기록하여, 도메인 내 및 도메인 외 설정 모두에서 강력한 기준선을 능가한다.
  • 단지 150개의 레이블 데이터와 3,000개의 비레이블 이미지로도 mIoU 0.7046을 달성했으며, 이는 1,500개의 레이블 데이터와 28,000개의 비레이블 이미지(0.7566)와 유사한 성능을 보여, 높은 데이터 효율성을 입증한다.
  • 모델를 통해 생성된 합성 데이터는 후속 세그멘테이션 성능 향상에 기여한다. 혼합 전략을 사용해 20,000개의 합성 샘플을 사용한 결과, MetFaces에서 mIoU 0.7192를 기록하여 실데이터 전용 기준선을 초월했다.
  • 모델는 극단적인 도메인 외 입력에 대해 놀라운 일반화 능력을 보이며, 인간 얼굴 외의 동물 얼굴, 조각, 만화 등에 대해서도 타당한 세그멘테이션을 생성한다. 이는 오직 실제 인간 얼굴 데이터로만 훈련된 경우에도 가능하다.
  • 테스트 시점에 잠재 코드를 최적화하는 것이 직접 인코더 추론보다 성능 향상에 크게 기여함을 보여주며, 잠재 공간 내의 정밀 조정이 중요하다는 것을 시사한다.
  • 생성적 접근은 합성 데이터로 훈련된 판별 모델 및 실데이터 기반 기준선 모두를 능가하며, 소량 데이터 및 제로샷 세그멘테이션 분야에서 새로운 최고 기록(SOTA)을 수립한다.
Figure 2 : Model Overview. Generator $G$ and discriminators $D_{m}$ and $D_{r}$ are trained with adversarial objectives $\mathcal{L}_{G}$ (not indicated here), $\mathcal{L}_{D_{m}}$ and $\mathcal{L}_{D_{r}}$ . We do not backpropagate gradients from ${D_{m}}$ into the generator’s image synthesis bran
Figure 2 : Model Overview. Generator $G$ and discriminators $D_{m}$ and $D_{r}$ are trained with adversarial objectives $\mathcal{L}_{G}$ (not indicated here), $\mathcal{L}_{D_{m}}$ and $\mathcal{L}_{D_{r}}$ . We do not backpropagate gradients from ${D_{m}}$ into the generator’s image synthesis bran

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.