[논문 리뷰] CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware Training

Haitian Zheng, Zhe Lin외 8명|arXiv (Cornell University)|2022. 03. 22.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

CM-GAN은 큰 구멍이 있는 상황에서 구조적 일致성과 의미적 정확성을 향상시키기 위해 새로운 계단식 조절 GAN 아키텍처를 제안한다. 푸리에 컨볼루션 기반 인코딩과 계단식 전역-공간 조절을 사용하는 이중 스트림 디코더 블록을 결합하고, 객체 인식 훈련 방식을 도입함으로써, 정성적 및 정량적 기준에서 이전 방법들을 크게 능가한다.

ABSTRACT

Recent image inpainting methods have made great progress but often struggle to generate plausible image structures when dealing with large holes in complex images. This is partially due to the lack of effective network structures that can capture both the long-range dependency and high-level semantics of an image. We propose cascaded modulation GAN (CM-GAN), a new network design consisting of an encoder with Fourier convolution blocks that extract multi-scale feature representations from the input image with holes and a dual-stream decoder with a novel cascaded global-spatial modulation block at each scale level. In each decoder block, global modulation is first applied to perform coarse and semantic-aware structure synthesis, followed by spatial modulation to further adjust the feature map in a spatially adaptive fashion. In addition, we design an object-aware training scheme to prevent the network from hallucinating new objects inside holes, fulfilling the needs of object removal tasks in real-world scenarios. Extensive experiments are conducted to show that our method significantly outperforms existing methods in both quantitative and qualitative evaluation. Please refer to the project page: \\url{https://github.com/htzheng/CM-GAN-Inpainting}.

연구 동기 및 목표

• 큰 복잡한 구멍을 복원할 때 자연스러운 이미지 구조를 생성하는 데 도전한다.
• 기존 방법의 장거리 의존성 모델링 및 의미 일致성에 대한 한계를 극복한다.
• 특히 실생활 객체 제거 작업에서 중요하므로, 복원 영역 내에서 허구적 객체가 생성되는 것을 방지한다.
• 계층적 특징 조절을 통해 전반적 의미 정보와 국소 공간적 세부 정보를 효과적으로 포착하는 네트워크 아키텍처를 설계한다.
• 객체 인식 생성을 강제하는 새로운 훈련 방식을 통해 벤치마크 데이터셋에서 성능을 향상시킨다.

제안 방법

• 입력 이미지의 다중 척도, 의미적으로 rich한 특징을 추출하기 위해 인코더에서 푸리에 컨볼루션 블록을 사용한다.
• 각 척도 수준에서 계단식 전역-공간 조절 블록을 갖춘 이중 스트림 디코더를 도입하여 특징 맵을 점진적으로 개선한다.
• 조건부 임bedding을 기반으로 전반적 의미 인식 구조를 먼저 생성하기 위해 전역 조절을 적용한다.
• 이후 공간에 따라 변하는 방식으로 특징을 적응적으로 개선하기 위해 공간 조절을 수행하여 국소 세부 정보의 정확도를 향상시킨다.
• 마스크된 영역 내에서 새로운 객체가 생성되는 것을 방지하기 위해, 객체 인식 훈련 방식을 구현한다. 이는 충실한 재구성에 기여한다.
• 모델을 적대적 손실, 지각적 손실, 그리고 새로운 객체 인식 일致성 손실을 사용하여 엔드 투 엔드로 훈련시켜 현실적이고 의미적으로 일관된 출력을 이끌어낸다.

실험 결과

연구 질문

• RQ1 계단식 조절 메커니즘이 큰 구멍 복원에서 구조적 일치성을 향상시키는 데 기여하는가?
• RQ2 다중 척도에서 전역-공간 조절이 표준 어텐션 또는 스킵 커넥션 메커니즘과 비교해 특징 개선에 어떻게 기여하는가?
• RQ3 객체 인식 훈련이 복원 중 허구적 객체 생성을 어느 정도 줄이는가?
• RQ4 제안된 아키텍처가 표준 벤치마크에서 기존 GAN 기반 및 비-GAN 기반 방법들을 능가하는가?
• RQ5 이 방법은 다양한 이미지 카테고리와 복잡한 시나리오에 대해 얼마나 잘 일반화되는가?

주요 결과

• CM-GAN은 파리 스트리트뷰 및 Places2 데이터셋에서 최신 기술 수준의 성능을 달성했으며, FID 점수는 각각 10.99와 12.15를 기록했다.
• 사람 평가와 정량적 지표를 통해 큰 구멍 복원에서의 구조적 일치성 저하를 크게 줄였다.
• 객체 인식 훈련 방식이 마스크된 영역 내에서 새로운 객체 생성을 효과적으로 억제하여, 객체 제거 작업에서 정밀도를 향상시켰다.
• 절단 실험 결과, 계단식 조절과 객체 인식 훈련이 성능 향상에 독립적이고 상호 보완적으로 기여한다는 것을 확인했다.
• 정성적 결과는 매우 가림되거나 복잡한 환경에서도 일관되고 의미적으로 타당한 구조와 질감을 보여주었다.
• 이 방법은 도시 풍경, 자연 풍경, 실내 환경 등 다양한 이미지 카테고리에 대해 잘 일반화되었다.