[논문 리뷰] Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision

Haitian Zheng, Haofu Liao외 4명|arXiv (Cornell University)|2020. 04. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 4

한 줄 요약

이 논문은 자기주도 학습과 주의 기반 특징 정렬을 사용하여, 의미적 및 구조적으로 다른 다양한 장면 간에 예시 기반 이미지 합성을 위한 새로운 방법을 제안한다. 이 방법은 마스크된 공간-채널 주의(MSCA) 모듈을 도입하여 전역-국소 특징 정렬과 합성을 동시에 수행하며, COCO-stuff 데이터셋에서 최신 기준 성능을 달성한다. 또한 해석 가능성과 스타일 보간, 외삽, 교체 등에 대한 일반화 능력이 향상되었다.

ABSTRACT

Example-guided image synthesis has recently been attempted to synthesize an image from a semantic label map and an exemplary image. In the task, the additional exemplar image provides the style guidance that controls the appearance of the synthesized output. Despite the controllability advantage, the existing models are designed on datasets with specific and roughly aligned objects. In this paper, we tackle a more challenging and general task, where the exemplar is an arbitrary scene image that is semantically different from the given label map. To this end, we first propose a Masked Spatial-Channel Attention (MSCA) module which models the correspondence between two arbitrary scenes via efficient decoupled attention. Next, we propose an end-to-end network for joint global and local feature alignment and synthesis. Finally, we propose a novel self-supervision task to enable training. Experiments on the large-scale and more diverse COCO-stuff dataset show significant improvements over the existing methods. Moreover, our approach provides interpretability and can be readily extended to other content manipulation tasks including style and spatial interpolation or extrapolation.

연구 동기 및 목표

• 이미지 합성에서 의미적 및 구조적으로 다른 장면 간의 스타일 전달 문제에 대응한다.
• 이전 방법들이 예시 및 레이블 맵에서 정렬되거나 유사한 객체가 필요로 하는 한계를 극복한다.
• 정렬된 훈련 데이터가 필요 없이 임의의 예시 이미지를 사용하여 사용자 제어 스타일 합성을 가능하게 한다.
• 비디오 또는 쌍화된 시간적 데이터에 의존하지 않는 자기주도 훈련 체계를 개발한다.
• 해석 가능성과 스타일 보간, 장면 외삽 등의 작업으로의 확장성을 제공한다.

제안 방법

• 의미 레이블 맵과 예시 이미지의 특징 간 상호 주의를 모델링하기 위해 마스크된 공간-채널 주의(MSCA) 모듈을 도입한다.
• 공간 주의와 채널 주의를 분리하여, 정렬되지 않은 장면 간에 효율적이고 해석 가능한 특징 전파를 가능하게 한다.
• 특징 마스킹을 통합하여 의미적 이방성(이상치)을 걸러내고 대응 모델링을 향상시킨다.
• 다중 해상도 및 해상도 확장 연산을 적용하여 전역 및 국소 특징 정렬을 처리한다.
• 정렬된 특징에 대해 공간 제어 가능한 이미지 합성을 위해 SPADE를 적용한다.
• 비디오나 시간적 데이터가 없는, 오직 의미 분석된 이미지만을 사용하는 패치 기반 자기주도 학습 과제를 설계한다. 이를 통해 비디오나 시간적 데이터 없이도 엔드 투 엔드 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 비디오나 쌍화된 시간적 데이터가 필요 없이 자기주도 프레임워크가 예시 기반 이미지 합성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 공간-채널 분리 주의 메커니즘이 구조적·의미적으로 다른 장면 간 정확한 특징 대응을 가능하게 하는가?
• RQ3 이 모델은 스타일 보간 및 외삽을 포함하여 임의의 장면 전이에 얼마나 잘 일반화되는가?
• RQ4 기존 주의 기반 방법과 비교해 볼 때, 제안된 MSCA 모듈이 특징 정렬 및 합성 품질을 얼마나 향상시키는가?
• RQ5 복잡하고 다양한 장면 스타일을 새로운 의미적 레이아웃으로 전달할 때, 스타일 일관성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 대규모 COCO-stuff 데이터셋에서 기존 방법들에 비해 상당한 성능 향상을 달성한다.
• 눈 덮인 산맥, 해변, 도시 지역, 사막 등 의미적으로 다른 다양한 장면 간에도 잘 일반화된다.
• 최소한의 수정과 추가 훈련 없이도, 여러 예시 스타일 간 효과적인 스타일 보간을 가능하게 한다.
• 의미적 가이던스를 사용하여 입력 이미지 경계를 초월해 타당한 콘텐츠를 생성함으로써, 장면 외삽을 성공적으로 수행한다.
• 주의 메커니즘이 해석 가능성을 제공한다. 특히, 주의 맵을 시각화했을 때 하늘에서 구름, 눈에서 모래로의 의미적-스타일적 대응이 의미 있는 방식으로 나타난다.
• 자기주도 학습 체계는 오직 의미 분석된 애너테이션만으로도 효과적인 훈련이 가능하게 하여, 비디오나 쌍화된 시간적 데이터가 필요 없게 한다.