[논문 리뷰] Attention-GAN for Object Transfiguration in Wild Images

Xinyuan Chen, Chang Xu외 2명|arXiv (Cornell University)|2018. 03. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 주로 이미지에서 객체를 변형하는 데 초점을 맞춘 Attention-GAN이라는 새로운 GAN 프레임워크를 제안한다. 이는 주의 예측과 이미지 변형을 분리함으로써 이루어지며, 전용 주의 네트워크를 사용해 희박하고 객체 중심의 마스크를 생성하고, 변형 네트워크를 통해 주목된 영역만 스타일화함으로써 기존 방법에 비해 이미지 품질과 배경 일관성에서 크게 향상된다.

ABSTRACT

This paper studies the object transfiguration problem in wild images. The generative network in classical GANs for object transfiguration often undertakes a dual responsibility: to detect the objects of interests and to convert the object from source domain to target domain. In contrast, we decompose the generative network into two separat networks, each of which is only dedicated to one particular sub-task. The attention network predicts spatial attention maps of images, and the transformation network focuses on translating objects. Attention maps produced by attention network are encouraged to be sparse, so that major attention can be paid to objects of interests. No matter before or after object transfiguration, attention maps should remain constant. In addition, learning attention network can receive more instructions, given the available segmentation annotations of images. Experimental results demonstrate the necessity of investigating attention in object transfiguration, and that the proposed algorithm can learn accurate attention to improve quality of generated images.

연구 동기 및 목표

• 기존 GAN의 한계를 해결하기 위해, 단일 생성자(generator)가 객체 탐지와 스타일 전이를 동시에 처리함으로써 이미지 품질이 떨어지는 문제를 해결하고자 한다.
• 주의 예측과 이미지 변형 작업을 분리함으로써 배경 일관성과 객체 정렬 정확도를 향상시키고자 한다.
• 관련된 이미지 영역에만 집중하는 희박하고 학습 가능한 주의 메커니즘을 통해 더 정확하고 해석 가능한 객체 변형을 가능하게 하고자 한다.
• 세그멘테이션 애너테이션을 사용해 주의 네트워크를 감독함으로써, 약한 감독 설정 하에서 성능을 향상시키는 데 기여하고자 한다.

제안 방법

• 생성 네트워크를 두 개의 별도 네트워크로 분해한다: 공간 주의 맵을 예측하는 주의 네트워크와 주목된 영역에서 도메인 번역을 수행하는 변형 네트워크.
• 주의 맵이 희박해지도록 유도하기 위해 희박 정규화 손실을 적용한다. 이를 통해 배경 영역보다는 눈에 띄는 객체에 집중된 주의를 보장한다.
• 예측된 주의 마스크를 사용해 변형 네트워크에서 생성된 객체를 원본 배경과 요소 간 곱셈과 덧셈 연산을 통해 층화된 방식으로 통합한다.
• 쌍방향 일관성 손실을 적용하여 쌍이 맞지 않는 데이터를 처리하고, 변환이 가역적이며 구조적 일관성을 유지하도록 보장한다.
• 주의 맵이 변환 전후로 동일하게 유지되도록 강제하는 주의적 순환 일관성 손실을 도입함으로써 공간 일관성을 유지한다.
• 비지도 학습과 지도 학습을 모두 지원한다. 지도 학습 설정에서는 주의 네트워크를 정답 세그멘테이션 마스크로 학습시켜 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 주의 예측을 이미지 변형에서 분리함으로써 야생 이미지에서의 객체 변형 품질과 일관성 향상이 가능한가?
• RQ2 주의 맵의 희박 정규화가 객체 정렬 및 배경 보존에 어떤 영향을 미치는가?
• RQ3 세그멘테이션 애너테이션을 통한 감독이 객체 변형에서 주의 네트워크 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 Attention-GAN이 이미지 품질과 구조적 충실도 측면에서 CycleGAN과 같은 최첨단 기법을 초월하는가?

주요 결과

• λattn = 5일 때, Horse→Zebra 작업에서 PSNR 24.2173과 SSIM 0.9367을 기록하며 기준 방법에 비해 뚜렷한 향상을 보였다.
• λattn = 1일 때, 객체 커버리지와 배경 일관성 사이의 최적 균형을 확보하여, 낮은 또는 높은 정규화 설정보다 우수한 성능을 보였다.
• 세그멘테이션 마스크로 지도 학습을 수행할 경우 더 정확한 주의 맵을 얻을 수 있었으며, 어두운 빨간색/파란색 마스크는 고신뢰도의 객체 탐지와 배경 간섭 감소를 나타냈다.
• 정성적 결과에서는 비지도 학습 기반 Attention-GAN과 CycleGAN이 얼굴 영역을 잘못 타겟으로 삼아 줄무늬로 변형하는 경향이 있었지만, 제안된 방법은 이러한 영역을 정확히 유지하였다.
• 절단 실험 결과, 희박 손실이 필수적임을 확인했다. 이 손실 없이선 주의 맵이 잘못된 배경 영역을 강조하여 이미지 품질이 악화되었다.
• 모델의 최종 출력은 원본 배경과 변형된 객체의 복합체이며, 중간 특징 시각화를 통해 층화된 연산의 효과가 검증되었다.