[논문 리뷰] Learning Foreground-Background Segmentation from Improved Layered GANs

Yang Yu, Hakan Bilen외 3명|arXiv (Cornell University)|2021. 04. 01.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 잠재 코드와 생성된 이미지/마스크 간의 상호정보를 최대화하여 전경과 배경을 분리하는 개선된 계층적 GAN을 제안한다. 이는 짝지어진 이미지와 세그멘테이션 마스크의 고품질 합성에 기여하며, 분석-합성 프레임워크를 사용해 GAN과 세그멘테이션 네트워크를 번갈아가며 훈련함으로써 CUB, Cars, Dogs, APC 데이터셋에서 비지도 전경-배경 분할 성능을 최신 기술 수준으로 달성한다.

ABSTRACT

Deep learning approaches heavily rely on high-quality human supervision which is nonetheless expensive, time-consuming, and error-prone, especially for image segmentation task. In this paper, we propose a method to automatically synthesize paired photo-realistic images and segmentation masks for the use of training a foreground-background segmentation network. In particular, we learn a generative adversarial network that decomposes an image into foreground and background layers, and avoid trivial decompositions by maximizing mutual information between generated images and latent variables. The improved layered GANs can synthesize higher quality datasets from which segmentation networks of higher performance can be learned. Moreover, the segmentation networks are employed to stabilize the training of layered GANs in return, which are further alternately trained with Layered GANs. Experiments on a variety of single-object datasets show that our method achieves competitive generation quality and segmentation performance compared to related methods.

연구 동기 및 목표

• 인간 레이블이 필요한 세그멘테이션 마스크에 대한 의존도를 줄이기 위해 자동으로 짝지어진 이미지와 마스크를 합성하는 것.
• 감독 없이 계층적 GAN에서 발생하는 단순한 분해(예: 전부 전경 또는 전부 배경) 문제를 해결하는 것.
• 잠재 코드와 생성된 콘텐츠 간의 상호정보 최대화를 통해 전경과 배경의 분리도 향상시키는 것.
• GAN가 생성한 합성 데이터를 사용해 세그멘테이션 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 세그멘테이션 네트워크의 피드백을 통해 GAN 훈련을 안정화시켜 상호 개선되는 루프를 만드는 것.

제안 방법

• 계층적 GAN 아키텍처는 공유된 '퍼블릭' 코드와 전경 전용의 개인적 '프라이빗' 코드를 사용해 배경과 전경을 별도로 생성한다.
• 구성된 이미지와 프라이빗 잠재 코드 간의 상호정보를 최대화하여 다양한 의미 있는 전경 생성을 유도한다.
• 전경 마스크와 프라이빗 코드 간의 상호정보도 최대화하여 의미적 일관성을 확보한다.
• 조합 과정에서 펌프팅(perturbation)을 적용하여 단순한 전부 전경 분해를 방지하고, 강건성을 향상시킨다.
• 세그멘테이션 네트워크는 합성 데이터로 훈련되고, 번갈아가며 훈련하는 동안 GAN을 정규화하는 데 사용된다.
• 분석-합성 접근 방식을 사용하여 세그멘테이션 성능 향상이 GAN의 분리도 향상에 기여하고, 반대로 GAN의 개선이 세그멘테이션 성능 향상에 기여하는 상호 작용을 유도한다.

실험 결과

연구 질문

• RQ1 잠재 코드와 생성된 이미지 간의 상호정보 최대화가 계층적 GAN에서 전경-배경 분리도 향상에 기여하는가?
• RQ2 이러한 GAN이 생성한 합성 이미지-마스크 쌍이 인간 레이블 없이도 경쟁 가능한 분할 성능를 달성할 수 있는가?
• RQ3 세그멘테이션 네트워크의 피드백이 계층적 GAN 훈련의 안정성과 품질을 향상시키는가?
• RQ4 실제 세계 데이터셋에서 VAE 기반 및 이전 GAN 기반 비지도 분할 접근법과 비교해 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 단일 객체 벤치마크를 초월해 다중 카테고리 데이터셋에도 일반화 가능한가?

주요 결과

• CUB 데이터셋에서 이 방법은 81.7% mIoU를 기록하여 PerturbGAN(38.0% mIoU)을 압도하고 Melas-Kyriazi 등(66.4% IoU)을 3.3 포인트 초월한다.
• CUB에서 94.3% 정확도와 69.7% IoU를 기록하여 최신 기술 수준의 비지도 방법과 경쟁 가능한 성능를 입증한다.
• APC 데이터셋에서 FID 점수는 103.9로 GENESIS-V2(245.6)보다 유의미하게 낮아, 더 뛰어난 이미지 생성 품질을 나타낸다.
• 정성적 결과에서는 특히 복잡한 실세계 이미지에서 GENESIS-V2보다 더 세밀하고 정확한 세그멘테이션 마스크를 제공한다.
• 이 방법은 단일 객체 데이터셋을 초월해 APC에서 다중 카테고리 이미지의 성공적인 생성과 세그멘테이션을 가능하게 하여 일반화 능력을 입증한다.
• 제거 실험 결과 상호정보 최대화가 전부 배경 및 단순 분해 문제를 완화하는 데 핵심 요소임을 확인한다.