[논문 리뷰] Big GANs Are Watching You: Towards Unsupervised Object Segmentation with Off-the-Shelf Generative Models

Andrey Voynov, Stanislav Morozov외 1명|arXiv (Cornell University)|2021. 05. 04.

Visual Attention and Saliency Detection참고 문헌 22인용 수 9

한 줄 요약

이 논문은 BigBiGAN과 StyleGAN2와 같은 사전 훈련된 생성 모델을 활용하여 비지도 학습 객체 분할을 위한 단순하고 재현 가능한 방법을 제안한다. 생성된 이미지에서 주목성과 관련된 잠재 공간 방향을 식별하고, 이를 바탕으로 가짜 분할 마스크를 생성한 후, 이를 통해 분류 기반의 분할 모델을 훈련시킨다. 이로 인해 복잡한 훈련이나 하이퍼파라미터 튜닝 없이도 비지도 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Since collecting pixel-level groundtruth data is expensive, unsupervised visual understanding problems are currently an active research topic. In particular, several recent methods based on generative models have achieved promising results for object segmentation and saliency detection. However, since generative models are known to be unstable and sensitive to hyperparameters, the training of these methods can be challenging and time-consuming. In this work, we introduce an alternative, much simpler way to exploit generative models for unsupervised object segmentation. First, we explore the latent spaces of the publicly available unsupervised models, such as BigBiGAN and StyleGAN2, and reveal the ``segmenting'' latent directions that can be used to obtain saliency masks for GAN-produced images. These masks then are used to train a discriminative segmentation model. Being very simple and easy-to-reproduce, our approach outperforms the state-of-the-art on common benchmarks in the unsupervised scenario. All the code and the pretrained models are available online.

연구 동기 및 목표

• 객체 분할을 위한 픽셀 수준의 애너테이션을 수집하는 데 드는 높은 비용과 어려움을 해결하기 위해.
• 재훈련 없이도 상용 생성 모델을 활용해 비지도 학습 객체 분할을 수행할 수 있는지 탐색하기 위해.
• 사전 훈련된 GAN에서 객체 수준의 주목성과 관련된 안정적이고 의미 있는 잠재 공간 방향을 식별하기 위해.
• 복잡한 생성 모델 훈련을 피하고 단순하고 재현 가능한 방법을 개발하기 위해.
• 사전 훈련된 모델과 최소한의 적응만을 사용해 비지도 분할 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 사전 훈련된 BigBiGAN 및 StyleGAN2 모델의 잠재 공간을 분석하여 객체 주목성과 관련된 방향을 발견한다.
• 특정 잠재 공간 방향을 식별하여, 이를 변형했을 때 주목성 있는 객체 영역이 포함된 이미지를 생성함으로써, 효과적으로 가짜 분할 마스크를 생성한다.
• 이러한 생성된 마스크를 활용해 분류 기반의 분할 네트워크를 약한 지도 학습 방식으로 훈련시킨다.
• 모델의 종합적인 훈련 없이도 사전 훈련된 모델의 잠재 공간 구조에 의존한다.
• 가짜 마스크를 지도로 사용해 분류 모델을 훈련시켜 실제 이미지로의 일반화 능력을 향상시킨다.
• 모든 구성 요소는 간단한 파이프라인에서 엔드 투 엔드로 훈련되며, 추가 데이터나 복잡한 하이퍼파라미터 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 BigBiGAN과 StyleGAN2와 같은 사전 훈련된 생성 모델을 사용해 미세조정 없이도 의미 있는 분할 마스크를 생성할 수 있는가?
• RQ2 이러한 모델의 잠재 공간에 객체 수준의 주목성과 관련된 안정적이고 해석 가능한 방향이 존재하는가?
• RQ3 이러한 잠재 공간 방향을 활용해 실제 이미지로 일반화 가능한 분류 기반 분할 모델을 훈련시킬 수 있는가?
• RQ4 기존의 비지도 학습 객체 분할 기법과 비교해 성능 및 훈련 복잡도 측면에서 이 방법은 어떠한가?
• RQ5 이 방법은 다양한 사전 훈련된 모델과 데이터셋 간에 안정적이고 재현 가능한가?

주요 결과

• 이 방법은 표준 비지도 학습 객체 분할 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준 성능을 달성한다.
• BigBiGAN과 StyleGAN2에서 발견한 잠재 공간 방향은 다양한 이미지 클래스에 걸쳐 일관되게 타당한 주목성 마스크를 생성한다.
• 생성 모델의 추가 훈련이 전혀 필요 없으며, 오직 사전 훈련된 가중치에 의존한다.
• 결과로 도출된 분할 모델은 GAN에서 생성된 합성 마스크로 훈련되었음에도 불구하고 실제 이미지로의 일반화 능력이 뛰어나다.
• 이 방법은 매우 재현 가능하며 최소한의 하이퍼파라미터 튜닝만으로도 실용적인 실세계 적용이 가능하다.
• 코드와 사전 훈련된 모델이 공개되어 있어 복제 및 확장이 용이하다.