[논문 리뷰] Rethinking Spatially-Adaptive Normalization

Zhentao Tan, Dongdong Chen외 6명|arXiv (Cornell University)|2020. 04. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 15

한 줄 요약

이 논문은 의미 이미지 합성에서 공간적 적응형 정규화(SPADE)를 대체하는 경량의 클래스 적응형 정규화 레이어인 CLADE를 제안한다. SPADE와 달리, CLADE는 깊은 모odulation 네트워크를 통해 공간적 위치에 따라 정규화 파라미터를 적응시키는 것이 아니라, 의미 클래스에 기반해 특징을 모듈레이션함으로써 계산량과 파라미터 오버헤드를 크게 줄이고도 유사한 시각적 정밀도를 유지한다. ADE20k에서 CLADE는 파라미터의 4.57%와 FLOPs의 0.07%만 추가로 사용하며, SPADE는 각각 39.21%와 234.73%를 차지한다.

ABSTRACT

Spatially-adaptive normalization is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to preserve the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the true advantages inside the box is still highly demanded, to help reduce the significant computation and parameter overheads introduced by these new structures. In this paper, from a return-on-investment point of view, we present a deep analysis of the effectiveness of SPADE and observe that its advantages actually come mainly from its semantic-awareness rather than the spatial-adaptiveness. Inspired by this point, we propose class-adaptive normalization (CLADE), a lightweight variant that is not adaptive to spatial positions or layouts. Benefited from this design, CLADE greatly reduces the computation cost while still being able to preserve the semantic information during the generation. Extensive experiments on multiple challenging datasets demonstrate that while the resulting fidelity is on par with SPADE, its overhead is much cheaper than SPADE. Take the generator for ADE20k dataset as an example, the extra parameter and computation cost introduced by CLADE are only 4.57% and 0.07% while that of SPADE are 39.21% and 234.73% respectively.

연구 동기 및 목표

• SPADE가 의미 이미지 합성에서 성공한 진정한 원인을 규명하는 것.
• SPADE의 공간적 적응형 모듈레이션 메커니즘이 유도하는 높은 계산량과 파라미터 오버헤드를 줄이는 것.
• 공간적 적응성 없이도 의미 인식 능력만으로도 의미 정보를 효과적으로 유지할 수 있는지 탐색하는 것.
• 최소한의 계산 비용으로 높은 시각적 정밀도를 유지하는 더 효율적인 정규화 레이어를 설계하는 것.
• 조건부 이미지 생성을 위한 실용적이고 경량적인 SPADE 대체 기법을 제공하는 것.

제안 방법

• 의미 마스크에서 유도된 클래스별 통계를 사용해 배치 정규화 특징을 모듈레이션하는 정규화 레이어인 CLADE를 제안하며, 이는 공간적 위치와는 독립적이다.
• 생성자 내 모든 SPADE 블록을 CLADE 블록으로 대체하여 두 층의 깊은 모듈레이션 네트워크가 필요 없도록 한다.
• 각 특징 맵 위치의 의미 클래스 레이블을 사용해 스케일 및 시프트 파라미터를 결정함으로써, 공간적으로 변화하는 것이 아니라 클래스별로 적응하도록 한다.
• 조건부 GAN 프레임워크에 CLADE를 통합하여 무조건적 및 스타일 가이드드 생성을 모두 지원한다.
• SPADE와 동일한 훈련 설정을 사용해 적대적 손실과 인지적 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 다른 노이즈 벡터 또는 기준 스타일 이미지를 생성자에 입력하여 다중 모달 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 SPADE의 성능 향상 원인은 공간적 적응성인가, 의미 인식 능력인가?
• RQ2 공간적 적응성 없이도 클래스 적응형인 정규화 레이어가 SPADE와 유사한 성능을 달성할 수 있는가? 이 경우 계산 비용은 크게 감소하는가?
• RQ3 SPADE에서 공간적 적응성을 제거하면 시각적 품질이나 레이아웃 정렬에 심각한 손실이 발생하는가?
• RQ4 다양한 데이터셋에서 CLADE의 파라미터 및 FLOP 오버헤드는 SPADE 및 기준 방법과 비교해 어떻게 되는가?
• RQ5 CLADE는 SPADE만큼 다중 모달 및 스타일 가이드드 이미지 합성을 효과적으로 지원할 수 있는가?

주요 결과

• CLADE는 ADE20k, COCO-Stuff, Cityscapes를 포함한 여러 데이터셋에서 SPADE와 동등한 시각적 정밀도를 달성한다.
• ADE20k 데이터셋에서 CLADE는 파라미터의 4.57%와 FLOPs의 0.07%만 추가로 사용하며, SPADE는 각각 39.21%와 234.73%를 차지한다.
• CLADE는 모델 크기를 SPADE의 약 74%로 줄이고 FLOPs를 4배 감소시켜 약 2배의 추론 속도 향상을 이룬다.
• 사용자 연구 결과 CLADE와 SPADE 사이에 유의미한 선호도 차이가 없었으며, ADE20k에서 48.375%가 CLADE를 SPADE보다 선호함으로써 동등한 인지적 품질을 확인했다.
• 사용자 선호도에서 CLADE는 Pix2pixHD를 능가하며, 특히 COCO-Stuff에서는 95%가 CLADE를 선호함으로써 더 뛰어난 현실감을 입증했다.
• CLADE는 다중 모달 및 스타일 가이드드 합성을 성공적으로 지원하여, 다른 노이즈 벡터 또는 기준 이미지를 사용해 다양한 현실적인 출력을 생성할 수 있다.