[논문 리뷰] Semantic Image Synthesis via Efficient Class-Adaptive Normalization

Zhentao Tan, Dongdong Chen외 7명|arXiv (Cornell University)|2020. 12. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 5

한 줄 요약

이 논문은 의미적 이미지 합성에서 SPADE의 공간적 적응형 정규화를 대체하는 경량의 클래스 적응형 정규화 방법인 CLADE를 제안한다. 이는 계산 비용과 파라미터를 감소시키면서도 생성 품질을 유지한다. 클래스 적응성에 초점을 맞추고, 내부 클래스 위치 인코딩을 통해 공간 적응성을 향상시킴으로써 CLADE-ICPE는 상당히 낮은 오버헤드로 SPADE와 유사한 성능을 달성한다.

ABSTRACT

Spatially-adaptive normalization (SPADE) is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to prevent the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the advantages inside the box is still highly demanded to help reduce the significant computation and parameter overhead introduced by this novel structure. In this paper, from a return-on-investment point of view, we conduct an in-depth analysis of the effectiveness of this spatially-adaptive normalization and observe that its modulation parameters benefit more from semantic-awareness rather than spatial-adaptiveness, especially for high-resolution input masks. Inspired by this observation, we propose class-adaptive normalization (CLADE), a lightweight but equally-effective variant that is only adaptive to semantic class. In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE. %Benefiting from this design, CLADE greatly reduces the computation cost while being able to preserve the semantic information in the generation. Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. The code is available at this https URL

연구 동기 및 목표

• 의미적 이미지 합성 분야에서 최신 기술인 SPADE의 계산 및 파라미터 오버헤드를 줄이기 위해.
• SPADE의 효과성이 고해상도 설정에서 더 많은 의미 인식 모듈레이션에 기인하는지, 아니면 공간 적응성에 기인하는지 조사하기 위해.
• 자원 사용을 최소화하면서도 높은 생성 품질을 유지하는 더 효율적인 정규화 메커니즘을 설계하기 위해.
• 내부 클래스 위치 맵 인코딩을 통해 진정으로 공간 적응형인 클래스 적응형 정규화의 변종을 도입하기 위해.

제안 방법

• 의미적 클래스에만 기반해 정규화 통계를 모듈레이션하는 클래스 적응형 정규화(CLADE)를 제안하여, 공간적으로 변하는 변환 계산을 완전히 제거한다.
• 의미적 레이아웃에서 유도된 내부 클래스 위치 맵 인코딩(ICPE)을 도입하여 CLADE 파라미터에 공간적 맥락을 통합한다.
• 클래스 적응형 정규화와 ICPE를 결합하여 CLADE-ICPE를 구성함으로써, 클래스 인식과 공간 적응성의 이중 모듈레이션을 달성한다.
• 이미지 합성 벤치마크에서 기존 아키텍처의 SPADE 모듈을 대체하여 CLADE 기반 모델을 엔드 투 엔드로 훈련시킨다.
• 각 의미적 클래스에 대해 학습 가능한 임베딩을 사용해 정규화 레이어의 스케일 및 시프트 파라미터를 생성한다.
• 생성기 네트워크에 제안된 정규화를 적용하여 특징 변환 과정에서 의미 정보를 유지한다.

실험 결과

연구 질문

• RQ1 SPADE의 성능 향상 요인이 고해상도 의미 레이아웃에서 의미 인식 능력에 기인하는지, 아니면 공간 적응성에 기인하는가?
• RQ2 오직 클래스 적응형인 정규화 방법이 상당히 낮은 계산 비용으로 SPADE와 유사한 생성 품질을 달성할 수 있는가?
• RQ3 높은 파라미터 또는 계산 비용 없이 클래스 적응형 정규화 프레임워크에 공간 적응성을 효과적으로 재도입할 수 있는가?
• RQ4 CLADE는 다양한 SPADE 기반 이미지 합성 아키텍처에 일반화되어 일관된 효율성 및 품질 향상을 보일 수 있는가?
• RQ5 내부 클래스 위치 인코딩이 생성된 이미지의 공간 세부 정보 유지에 미치는 영향은 무엇인가?

주요 결과

• CLADE는 다양한 데이터셋에서 SPADE와 유사한 이미지 생성 품질을 유지하면서도 계산 비용과 파라미터 오버헤드를 감소시킨다.
• 제거 분석 결과, 고해상도 설정에서 의미 인식 능력이 공간 적응성보다 성능 향상에 더 큰 기여를 한다는 것이 확인되었다.
• 내부 클래스 위치 인코딩을 통해 공간 적응성을 효과적으로 재도입함으로써 CLADE-ICPE는 SPADE와 동등한 성능을 달성한다.
• 이 방법은 다양한 SPADE 기반 아키텍처에 잘 일반화되어 있으며, 강건성과 이식 가능성을 입증한다.
• 제안된 방법은 더 적은 파라미터와 낮은 FLOPs로 최신 기술 수준의 효율성을 달성하여 실시간 또는 자원 제약이 있는 환경에 적합하다.