[논문 리뷰] Object Segmentation Without Labels with Large-Scale Generative Models

Andrey Voynov, Stanislav Morozov외 1명|arXiv (Cornell University)|2020. 06. 08.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 인간에 의한 레이블이 전혀 필요 없는 새로운 비지도 학습 객체 세분화 방법을 제안한다. 이 방법은 레이블이 없는 채로 사전 훈련된 오프더셰프 BigBiGAN 모델을 활용하여 인간의 레이블 없이도 합성 세분화 마스크를 생성한다. 전경과 배경을 분리하는 잠재 공간 방향을 자동으로 식별함으로써, U-Net을 위한 고품질의 합성 훈련 데이터를 생성하며, 최소한의 초모수 조정으로도 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The recent rise of unsupervised and self-supervised learning has dramatically reduced the dependency on labeled data, providing effective image representations for transfer to downstream vision tasks. Furthermore, recent works employed these representations in a fully unsupervised setup for image classification, reducing the need for human labels on the fine-tuning stage as well. This work demonstrates that large-scale unsupervised models can also perform a more challenging object segmentation task, requiring neither pixel-level nor image-level labeling. Namely, we show that recent unsupervised GANs allow to differentiate between foreground/background pixels, providing high-quality saliency masks. By extensive comparison on standard benchmarks, we outperform existing unsupervised alternatives for object segmentation, achieving new state-of-the-art.

연구 동기 및 목표

• 대규모 비지도 생성 모델을 활용하여 객체 세분화에서 픽셀 수준 또는 이미지 수준의 레이블이 필요 없도록 하는 것.
• 적대적 훈련과 복잡한 초모수 조정을 피하면서도 단순하고 재현 가능한 비지도 학습 객체 세분화 방법을 개발하는 것.
• 사용 가능한 오프더셰프 사전 훈련된 GAN이 세분화 작업을 위한 고품질의 합성 지도 신호를 생성할 수 있음을 입증하는 것.
• 잠재 공간 조작을 통해 유도된 합성 데이터만을 사용하여 비지도 학습 객체 세분화의 새로운 기준을 제시하는 것.

제안 방법

• 이 방법은 레이블 없이 ImageNet에서 사전 훈련된 자기지도 학습 BigBiGAN 모델을 사용하여 임의의 잠재 코드에서 합성 이미지를 생성한다.
• 생성된 이미지 위에서 연산자 A₁과 A₂를 최적화하여 전경/배경 분리를 나타내는 잠재 공간 방향을 자동으로 식별하는 절차를 도입한다.
• 자극성 마스크는 잠재 공간에서 z와 z + h_bg의 출력을 비교함으로써 생성되며, 여기서 h_bg는 잠재 공간 내에서 배경 제거 방향으로 식별된 것이다.
• 이러한 합성 이미지-마스크 쌍은 객체 세분화를 위한 판별적 U-Net 모델을 훈련시키는 데 사용되며, 초모수는 합성 데이터의 검증 세트를 사용하여 조정된다.
• 이 방법은 BigBiGAN의 인코더를 활용하여 실제 ImageNet 이미지를 잠재 공간에 매핑함으로써 합성 지도의 품질을 향상시킨다.
• 이 방법은 적대적 훈련을 피하고 오직 사전 훈련된 GAN의 잠재 공간의 의미적 구조에 의존한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 오프더셰프 GAN이 인간의 레이블 없이도 합성 세분화 마스크를 생성할 수 있는가?
• RQ2 자기지도 학습 GAN의 잠재 공간 방향이 자동으로 식별되어 의미 있는 전경/배경 차이를 만들어낼 수 있는가?
• RQ3 이러한 잠재 공간 조작을 통해 생성된 합성 데이터가 기존의 비지도 학습 방법보다 뛰어난 세분화 성능을 내는가?
• RQ4 잠재 공간 내에서 실제 ImageNet 이미지의 임베딩을 사용할 경우 합성 지도의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 기존의 비지도 학습 객체 세분화 방법들을 능가하며, 새로운 최신 기술 수준의 성능을 달성한다.
• 실제 ImageNet 이미지의 임베딩을 잠재 공간에 사용할 경우 성능 향상이 뚜렷하게 나타나, 의미적 일관성이 합성 지도의 품질을 높인다는 것을 시사한다.
• 합성 마스크에 대해 SOTA 자극성 모델을 평가했을 때, IoU는 0.412, 정확도는 0.720을 기록하여 합성 데이터가 훈련에 유용하다는 것을 입증한다.
• 절단 분석 결과, 가장 큰 성능 향상은 실제 이미지의 잠재 코드 사용에서 비롯되며, 의미적 일치의 중요성을 강조한다.
• A₁과 A₂의 공통 최적화를 통해 생성된 합성 마스크는 개별 샘플 최적화 결과와 거의 동일한 품질(이식도 0.86, 정확도 0.96)을 보이며, 이는 방법의 강건성과 안정성을 시사한다.
• 이미지 생성 품질이 마스크 생성보다 주요 성능 저하 요인임을 입증하였으며, 동일한 합성 이미지에서 U-2-Net 기반 모델이 더 뛰어난 성능을 보였다.