[논문 리뷰] Object Discovery with a Copy-Pasting GAN

Relja Arandjelović, Andrew Zisserman|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 65인용 수 42

한 줄 요약

감독 없이 객체 발견을 학습하는 방법으로, 복사-붙여넣기 GAN을 훈련시켜 생성기가 소스 이미지의 객체 영역을 대상 이미지로 복사하여 판별기를 속이고, 지름길을 방지하고 학습을 안정화하는 메커니즘을 도입한다. 이 접근 방식은 잡다한 데이터에서 강력한 객체 발견 성능을 보이고, 생성적 베이스라인에 대해 경쟁력 있는 결과를 보인다.

ABSTRACT

We tackle the problem of object discovery, where objects are segmented for a given input image, and the system is trained without using any direct supervision whatsoever. A novel copy-pasting GAN framework is proposed, where the generator learns to discover an object in one image by compositing it into another image such that the discriminator cannot tell that the resulting image is fake. After carefully addressing subtle issues, such as preventing the generator from `cheating', this game results in the generator learning to select objects, as copy-pasting objects is most likely to fool the discriminator. The system is shown to work well on four very different datasets, including large object appearance variations in challenging cluttered backgrounds.

연구 동기 및 목표

• 직접적인 감독 없이 객체 발견의 비감독 학습을 동기화한다.
• 생성기가 이미지를 혼합하기 위한 copy-mask를 출력하는 복사-붙여넣기 GAN(CP-GAN)을 제안한다.
• 생성기의 지름길을 방지하고 판별기를 안정화시켜 학습 안정성을 보장한다.
• 다양하고 복잡한 배경의 데이터세트에서 객체 발견 성능을 시연하고 구성을 분석한다.

제안 방법

• 생성기는 소스 이미지 I_s에서 copy-mask m_theta(I_s)를 출력하여 대상 이미지 I_d와 혼합한다 (I_c = m_theta(I_s) * I_s + (1 - m_theta(I_s)) * I_d).
• 판별기는 실제 이미지와 합성 이미지를 구분하는 것을 학습하여 생성기가 일관된 객체를 복사하도록 이끈다.
• 사소한 지름길을 방지하기 위해 무관한 이미지 I_i를 활용한 anti-shortcut 손실을 도입하여 보편적으로 적용 가능한 마스크를 페널티한다.
• 저수준 큐를 이용한 속임수를 피하기 위해 판별기 입력을 흐리게 하고, 판별기가 학습을 유지하도록 그라운딩된 가짜 이미지를 주입한다.
• 다중 객체 시나리오를 위한 보조 마스크 예측과 강화학습에서 영감을 받은 시드 선택(Instance Colouring)을 제공한다.
• 두 가지 CP-GAN 제너레이터 아키텍처를 사용한다: Direct(단일 채널 마스크)와 Instance Colouring(밀집 특성 맵과 RL 기반 마스크를 위한 시드).

실험 결과

연구 질문

• RQ1 비감독 CP-GAN이 이미지 간 객체를 복사해 학습함으로써 객체를 발견하고 분할할 수 있는가?
• RQ2 이 설정에서 생성기의 지름길을 방지하고 GAN 학습을 안정화하기 위해 필요한 메커니즘은 무엇인가?
• RQ3 잡힌 배경과 모양 변화가 있는 다양한 합성 데이터셋에서 CP-GAN의 성능은 어떻게 나타나는가?
• RQ4 다른 생성기 아키텍처가 객체 발견 성능에 어떤 영향을 미치는가?
• RQ5 더 복잡하고 실제에 가까운 이미지에서도 비감독 상태를 유지하며 확장할 수 있는가?

주요 결과

• CP-GAN은 Squares(98.3%), NoisySquares(100%), 그리고 CLEVR+bg(98.3%)에서 높은 객체 발견 비율을 달성한다.
• Flying Chairs(64x64 with clutter)에서 CP-GAN은 객체 발견 확률 40.3%에 도달한다.
• Instance Colouring 제너레이터 아키텍처가 일반적으로 Direct보다 우수하며, 특히 CLEVR+bg에서 98.3% 대 61.6%의 성능 차이를 보인다.
• 아비레이션 결과, anti-shortcut + border-zeroing은 단순한 해를 피하는 데 중요하며, 보조 마스크 예측 및 접지된 가짜는 안정성과 정확도를 향상시킨다.
• 블러 처리된 판별기 입력은 학습 안정성을 개선하며, CLEVR+bg의 경우 특히 효과적이다; 가짜를 접지하고 마스크 예측을 활용하면 판별기 학습을 가이드한다.
• CP-GAN은 일반적으로 잡힌 장면에서 순수 생성 기반의 MONet보다 우수하며, 배경 방해물에 대한 강건성을 보인다.