[논문 리뷰] Finding an Unsupervised Image Segmenter in Each of Your Deep Generative Models

Luke Melas-Kyriazi, Christian Rupprecht외 2명|arXiv (Cornell University)|2021. 05. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 20

한 줄 요약

이 논문은 인간의 감독 없이 사전 훈련된 딥 생성 모델(예: GAN)의 잠재 공간에서 전경-배경 분할 방향을 자동으로 탐지하는 비지도 학습 방법을 제안한다. 이미지 밝기와 일관성을 변화시키는 보편적인 잠재 방향을 학습함으로써, 이 방법은 합성 분할 마스크를 생성하고 이를 통해 분할 네트워크를 훈련시켜 CUB200 및 옥스포드 플라워스와 같은 다양한 데이터셋에서 최신 기준 수준의 비지도 성능을 달성한다.

ABSTRACT

Recent research has shown that numerous human-interpretable directions exist in the latent space of GANs. In this paper, we develop an automatic procedure for finding directions that lead to foreground-background image separation, and we use these directions to train an image segmentation model without human supervision. Our method is generator-agnostic, producing strong segmentation results with a wide range of different GAN architectures. Furthermore, by leveraging GANs pretrained on large datasets such as ImageNet, we are able to segment images from a range of domains without further training or finetuning. Evaluating our method on image segmentation benchmarks, we compare favorably to prior work while using neither human supervision nor access to the training data. Broadly, our results demonstrate that automatically extracting foreground-background structure from pretrained deep generative models can serve as a remarkably effective substitute for human supervision.

연구 동기 및 목표

• 사전 훈련된 GAN의 의미 있는 잠재 방향을 탐지하기 위한 지도 학습에 의존하지 않고도 생성기와 무관한 비지도 학습 방법을 개발하는 것.
• 실제 훈련 데이터나 인간의 주석 없이도 GAN에서 생성된 합성 마스크만을 사용하여 분할 모델을 훈련하는 것.
• 훈련 및 테스트 데이터 분포가 크게 다를 경우에도 단일 사전 훈련된 생성기로 다양한 이미지 도메인에서 높은 품질의 분할을 달성할 수 있음을 보여주는 것.
• 분할 성능가 GAN의 품질과 상관관계가 있음을 보여주어 전경/배경의 구조가 이미지 생성 과정에서 암묵적으로 학습됨을 시사하는 것.
• 시각 작업에서 인간의 감독을 대체하기 위해 생성 모델에서 자동으로 시각적 중요도나 객체 분리 개념을 추출할 수 있는 새로운 패러다임을 설정하는 것.

제안 방법

• 이 방법은 이미지 외관 변화를 유도하는 고정된 전역 잠재 오프셋을 학습하는 탐색 기반 기법을 사용하여, 특히 밝기와 일관성을 대상으로 전경 및 배경 영역을 분리한다.
• 이 방법은 이미지 밝기 변화와 구조적 일관성 간의 균형을 맞추는 최적화 목적 함수를 제안하며, 이는 두 요소 간의 트레이드오프를 제어하는 트레이드오프 하이퍼파라미터 λ를 사용한다.
• 이 방법은 두 가지 상호보완적인 잠재 방향을 식별한다: 하나는 전경을 밝게 만드는 (vl) 방향이고, 다른 하나는 전경을 어둡게 만드는 (vb) 방향이며, 둘 다 동일한 최적화 과정에서 유도된다.
• 이 방법은 GAN과 발견된 잠재 방향을 사용하여 대규모의 이미지-마스크 쌍으로 구성된 합성 데이터셋을 생성하고, 이를 기반으로 표준 분할 네트워크를 완전히 지도 학습 방식으로 훈련시킨다.
• 이 접근법은 완전히 자동화되어 있으며 수동 주석이나 모델 전용 튜닝이 필요하지 않아 다양한 GAN 아키텍처에 적용 가능하다.
• 최종 분할 모델은 추가 미세조정 없이 실제 벤치마크에서 평가되어 다양한 도메인으로의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 GAN의 잠재 공간에서 인간 감독 없이도 전경-배경 이미지 분리에 기여하는 보편적인 잠재 방향을 자동으로 탐지할 수 있는가?
• RQ2 사전 훈련된 GAN에서 생성된 합성 데이터로 훈련된 분할 모델이 실제 세계의 다양한 이미지 데이터셋으로 일반화되는 정도는 어느 정도인가?
• RQ3 결과로 도출된 분할 모델의 성능이 기반 GAN의 품질과 상관관계가 있음을 보여주며, 이는 전경/배경의 구조가 훈련 과정에서 암묵적으로 인코딩되어 있음을 시사하는가?
• RQ4 실제 훈련 레이블이나 데이터를 전혀 사용하지 않고도 기존의 비지도 또는 수작업 기반 시각적 중요도 탐지 방법을 능가할 수 있는가?
• RQ5 동일한 잠재 방향이 다양한 GAN 아키텍처, 특히 다른 데이터셋과 해상도로 훈련된 것들 간에 동일하게 적용되어 일관된 분할 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 CUB200 및 옥스포드 플라워스와 같은 벤치마크에서 인간 감독 없이도 기존의 비지도 접근법보다 뛰어난 최신 기준 수준의 비지도 이미지 분할 성능을 달성한다.
• CUB200 및 옥스포드 플라워스와 같은 다양한 데이터셋에서 테스트한 12개의 GAN 모두가 합리적인 분할 결과를 도출하여, 이 방법의 다양한 생성기 아키텍처에 대한 광범위한 적용 가능성을 입증한다.
• 가장 높은 성능을 보인 GAN인 BigBiGAN이 가장 높은 분할 정확도를 기록했으며, FID 점수(생성 품질 측정 지표)와 분할 성능 간에 강한 정적 상관관계를 관찰했다.
• 전경을 밝게 만드는 (vl) 및 어둡게 만드는 (vb) 두 방향을 함께 사용할 경우, 별도의 두 모델을 앙상블한 것과 유사한 성능을 달성하지만, 추가적인 계산 비용은 최소한이다.
• 이 방법은 시각적 중요도 탐지 벤치마크에서도 경쟁력 있는 성능을 기록했으며, 실질적인 훈련 데이터나 레이블 없이도 지도 학습 및 수작업 기반 방법을 종종 능가하거나 능가한다.
• 절단 분석을 통해 λ = 0.2가 밝기 변화와 일관성 간 최적의 트레이드오프를 제공하며, 생성기 함수의 비선형성으로 인해 두 방향이 정확한 반대 방향이 아님을 확인했다.