[논문 리뷰] Unsupervised Foreground-Background Segmentation with Equivariant Layered GANs.

Yang Yu, Hakan Bilen외 3명|arXiv (Cornell University)|2021. 04. 01.

Advanced Neural Network Applications참고 문헌 62인용 수 7

한 줄 요약

이 논문은 전이 불변성 정규화와 비공개 코드 복원을 통해 전경과 배경을 분리하는 등장성 계층적 GAN을 사용하여, 감독된 훈련 데이터가 필요 없이 합성된 가짜 세그먼테이션 데이터를 생성하는 비지도 전경-배경 세그먼테이션 방법을 제안한다. 이 방법은 레이어드 GAN을 사용하여 전경과 배경을 명시적으로 분리하고, 비공개 코드 복원 및 전이 불변성 정규화를 통해 성능을 향상시킨다. 이는 Caltech-UCSD Birds 및 LSUN Car 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose an unsupervised foreground-background segmentation method via training a segmentation network on the synthetic pseudo segmentation dataset generated from GANs, which are trained from a collection of images without annotations to explicitly disentangle foreground and background. To efficiently generate foreground and background layers and overlay them to compose novel images, the construction of such GANs is fulfilled by our proposed Equivariant Layered GAN, whose improvement, compared to the precedented layered GAN, is embodied in the following two aspects. (1) The disentanglement of foreground and background is improved by extending the previous perturbation strategy and introducing private code recovery that reconstructs the private code of foreground from the composite image. (2) The latent space of the layered GANs is regularized by minimizing our proposed equivariance loss, resulting in interpretable latent codes and better disentanglement of foreground and background. Our methods are evaluated on unsupervised object segmentation datasets including Caltech-UCSD Birds and LSUN Car, achieving state-of-the-art performance.

연구 동기 및 목표

• 감독된 애너테이션의 부족 문제를 해결하기 위해 GAN에서 생성된 합성 가짜 세그먼테이션 데이터를 사용하는 비지도 전경-배경 세그먼테이션 방법을 제안한다.
• 더 나은 세그먼테이션 성능를 위해 GAN 기반 이미지 생성에서 전경과 배경의 분리 수준을 향상시키기 위한 방법을 개선한다.
• 새로운 정규화 기법을 통해 계층적 GAN에서 해석 가능하고 분리된 잠재 표현을 가능하게 한다.
• 인간이 애너테이션한 마스크가 전혀 필요 없이 기준 데이터셋에서 비지도 객체 세그먼테이션 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비쌍의 이미지에 대해 레이어드 GAN을 훈련시어 전경과 배경 구성 요소를 명시적으로 분리한다.
• 복합 이미지에서 전경 코드를 복원하기 위해 비공개 코드 복원 기법을 도입하여 분리 수준을 향상시킨다.
• 잠재 공간에서의 변환에 대해 일관되고 해석 가능한 표현을 보장하기 위해 전이 불변성 손실을 제안한다.
• GAN은 전경과 배경 레이어를 별도로 생성하고, 이를 복합하여 세그먼테이션 네트워크 훈련을 위한 새로운 이미지를 생성한다.
• 세그먼테이션 네트워크는 GAN의 생성 레이어에서 유도된 합성 가짜 세그먼테이션 레이블을 기반으로 훈련된다.
• 비공개 코드 복원을 통한 향상된 분리 수준을 활용한 변형 전략을 적용한다.

실험 결과

연구 질문

• RQ1 GAN에서 생성된 합성 가짜 세그먼테이션 데이터를 사용하여 비지도 전경-배경 세그먼테이션을 효과적으로 달성할 수 있는가?
• RQ2 감독 없이 레이어드 GAN에서 전경과 배경의 분리를 어떻게 향상시킬 수 있는가?
• RQ3 잠재 공간에서의 전이 불변성 정규화가 분리 수준과 세그먼테이션 성능에 얼마나 기여하는가?
• RQ4 복합 이미지에서 비공개 코드 복원이 전경 재구성 및 세그먼테이션 품질을 향상시키는가?
• RQ5 제안된 방법이 표준 기준 데이터셋에서 기존의 비지도 세그먼테이션 방법보다 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 비지도 전경-배경 세그먼테이션에서 Caltech-UCSD Birds 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• LSUN Car 데이터셋에서는 이전의 비지도 접근 방식보다 뛰어난 세그먼테이션 정확도를 보여준다.
• 비공개 코드 복원 기법은 전경 재구성 품질을 크게 향상시켜 더 나은 분리 수준을 기여한다.
• 전이 불변성 손실은 더 해석 가능하고 분리된 잠재 코드를 만들어내어 생성된 레이어의 품질을 향상시킨다.
• 합성 가짜 세그먼테이션 데이터의 사용은 인간이 애너테이션한 마스크 없이도 세그먼테이션 네트워크의 효과적인 훈련을 가능하게 한다.