[논문 리뷰] The Spatially-Correlative Loss for Various Image Translation Tasks

Chuanxia Zheng, Tat‐Jen Cham외 1명|arXiv (Cornell University)|2021. 04. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 10

한 줄 요약

이 논문은 외관과 무관하게 이미지 내 자가유사성 패턴을 모델링함으로써 대응되지 않는 이미지 간 번역 중 장면 구조를 유지하는 새로운 공간적 상관 손실인 F/LSeSim을 제안한다. 이 방법은 대비 학습을 통해 도메인 불변 공간 상관관계를 학습하여 단일 모odal, 다중 모달, 단일 이미지 번역 작업 전반에서 최신 기술 수준의 성능을 달성하며, 사이클 일致성 및 특징 매칭 기반 베이스라인에 비해 구조 충실도와 다양성에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel spatially-correlative loss that is simple, efficient and yet effective for preserving scene structure consistency while supporting large appearance changes during unpaired image-to-image (I2I) translation. Previous methods attempt this by using pixel-level cycle-consistency or feature-level matching losses, but the domain-specific nature of these losses hinder translation across large domain gaps. To address this, we exploit the spatial patterns of self-similarity as a means of defining scene structure. Our spatially-correlative loss is geared towards only capturing spatial relationships within an image rather than domain appearance. We also introduce a new self-supervised learning method to explicitly learn spatially-correlative maps for each specific translation task. We show distinct improvement over baseline models in all three modes of unpaired I2I translation: single-modal, multi-modal, and even single-image translation. This new loss can easily be integrated into existing network architectures and thus allows wide applicability.

연구 동기 및 목표

• 큰 외관 변화가 발생할 때 기존의 대응되지 않는 이미지 번역 방법이 장면 구조를 유지하는 데에 한계가 있음을 해결하기 위해.
• 도메인에 특화된 외관과 장면 구조를 분리하기 위해 도메인 불변 공간 상관관계를 학습함으로써.
• 기존 아키텍처에 쉽게 통합될 수 있는 단순하고 효율적이며 일반화 가능한 손실을 개발하기 위해.
• 구조 유지가 핵심인 다중 모달 및 단일 이미지 번역 설정에서 성능을 향상시키기 위해.
• 특징 기반 손실에서 고정된 사전 훈련된 네트워크의 편향을 극복하기 위해 작업별로 특화된 공간적 상관 맵을 학습하기 위해.

제안 방법

• 사전 훈련된 네트워크의 특징에서 계산된 고정된 자가유사성 맵인 FSeSim을 제안하여 이미지 내 자가유사성에 기반한 공간적 구조를 인코딩한다.
• 대비 학습을 사용하여 도메인 간 동일한 구조를 외관과 무관하게 명시적으로 정렬하는 학습된 자가유사성 맵인 LSeSim을 도입한다.
• 유사한 공간 패턴이 대응되는 구조에서 조건부로 유사한 패턴을 유도하기 위해 대비 손실을 활용한다. 이는 외관이 크게 다를 때에도 성립한다.
• 다양한 수신장 영역을 가진 국소적 주의 메커니즘을 사용하여 공간적 상관 맵을 계산함으로써 구조적 세부 정보를 향상시킨다.
• 기존 I2I 프레임워크에서 전통적인 콘텐츠 손실(예: 사이클 일치, 인지 손실) 대신 F/LSeSim을 사용하여 외관과 무관하게 구조를 평가한다.
• 다중 도메인 및 단일 이미지 번역 설정 전반에 걸쳐 손실을 적용하며, 고해상도 단일 이미지 번역을 위한 CUT 기반 아키텍처를 포함한다.

실험 결과

연구 질문

• RQ1 자기유사성 패턴에 기반한 손실 함수가 대응되지 않는 이미지 번역에서 큰 외관 변화가 발생할 때도 장면 구조를 유지할 수 있는가?
• RQ2 고정된 특징 또는 픽셀 수준의 손실과 비교해 도메인 불변 공간적 상관 표현은 구조 유지에 얼마나 효과적인가?
• RQ3 자기지도 대비 학습 접근법을 통해 작업별로 특화된 공간 상관관계를 학습할 수 있으며, 다양한 번역 작업에 일반화될 수 있는가?
• RQ4 사이클 일치 또는 인지 손실을 F/LSeSim으로 대체하면 다중 모달 및 단일 이미지 번역에서 성능 향상이 이루어지는가?
• RQ5 공간적 상관 손실이 외관 다양성을 제약하지 않으면서 구조적 충실도를 얼마나 향상시키는가?

주요 결과

• 제안된 F/LSeSim 손실은 CycleGAN, MUNIT, CUT와 같은 최신 기술 수준의 방법들과 비교해 모든 세 가지 대응되지 않는 I2I 번역 모드에서 열등하지 않은 성능을 기록했다.
• 다중 모달 번역(예: 겨울→여름, 야간→주간)에서는 MUNIT보다 더 높은 품질과 더 많은 다양성을 가진 출력을 생성했으며, 이는 외관 변화에 대한 제약이 없기 때문이다.
• 절단 실험 결과, 다중 층의 국소 주의(행 D)가 전역 주의 또는 무작위 샘플링보다 성능을 크게 향상시켰으며, 먼 거리의 공간 상관관계에서 유도되는 노이즈를 줄였다.
• L1 거리 대신 코사인 거리로 교체함(행 E)으로 인해 다양성 점수가 크게 상승했으며, 이는 동일한 맵 값 강제 조건 없이도 상관 패턴을 유지했기 때문이다.
• 단일 이미지 번역에서는 FSeSim 기반 모델이 CUT, WCT2, STRORSS보다 이미지 품질과 스타일 일치 모두에서 뛰어난 성능을 보였으며, 특히 고해상도 영역에서 두각을 나타냈다.
• LSeSim을 포함한 전체 모델(행 F)은 모든 지표에서 최고의 성능을 기록했으며, 작업별로 특화된 대비 학습을 통한 공간적 상관 맵 학습의 효과를 입증했다.