[논문 리뷰] Focal Frequency Loss for Image Reconstruction and Synthesis

Liming Jiang, Bo Dai외 2명|arXiv (Cornell University)|2020. 12. 23.

Advanced Vision and Imaging참고 문헌 78인용 수 29

한 줄 요약

이 논문은 이미지 생성 중에 쉽게 합성되지 않는 고주파 성분을 적응적으로 강조하기 위해 동적 스펙트럼 가중치 행렬을 통해 쉬운 주파수를 가중치를 낮추는 방식으로, 주파수 도메인 손실 함수인 포칼 주파수 손실(Focal Frequency Loss, FFL)을 제안한다. FFL은 다양한 모델—VAE, pix2pix, SPADE, StyleGAN2—에서 실제 이미지와 생성된 이미지 간의 주파수 도메인 간격을 좁혀, 인지적 품질과 정량적 지표를 향상시킨다.

ABSTRACT

Image reconstruction and synthesis have witnessed remarkable progress thanks to the development of generative models. Nonetheless, gaps could still exist between the real and generated images, especially in the frequency domain. In this study, we show that narrowing gaps in the frequency domain can ameliorate image reconstruction and synthesis quality further. We propose a novel focal frequency loss, which allows a model to adaptively focus on frequency components that are hard to synthesize by down-weighting the easy ones. This objective function is complementary to existing spatial losses, offering great impedance against the loss of important frequency information due to the inherent bias of neural networks. We demonstrate the versatility and effectiveness of focal frequency loss to improve popular models, such as VAE, pix2pix, and SPADE, in both perceptual quality and quantitative performance. We further show its potential on StyleGAN2.

연구 동기 및 목표

• 실제 이미지와 생성된 이미지 간의 주파수 도메인 간격, 특히 체스보드 패atters와 같은 고주파 성분의 손실 및 잡음의 지속적인 격차를 해결한다.
• 신경망의 스펙트럼 편향을 극복하여, 쉽게 합성되지 않는 고주파 성분을 간과하는 경향을 해결한다.
• 학습 중에 어려운 주파수 성분에 적응적으로 집중할 수 있도록 주파수 도메인 손실 함수를 개발한다.
• 기존의 공간 도메인 손실과 보완적으로 주파수 표현을 직접 최적화함으로써, 이미지 복원 및 합성 품질을 향상시킨다.
• FFL이 다양한 아키텍처—자기부(encoder), GAN, 스타일 기반 생성기—에 걸쳐 일반화 가능하고 효과적인지를 입증한다.

제안 방법

• 이산 푸리에 변환(DFT)을 사용하여 입력 이미지와 생성된 이미지를 주파수 표현으로 변환하여, 진폭과 위상 정보를 모두 캡처한다.
• 각 주파수 성분을 진폭과 위상을 조합한 2차원 벡터로 표현하여 주파수 도메인에서의 동시 최적화를 가능하게 한다.
• 실제 이미지와 생성된 이미지의 주파수 벡터 간의 스케일링된 유클리드 거리를 정의하여 스펙트럼 이질성의 척도로 사용한다.
• 학습 중에 쉬운 주파수(낮은 손실)는 가중치를 낮추고, 어려운 주파수(높은 손실)는 가중치를 높이는 동적 스펙트럼 가중치 행렬을 도입한다.
• 주파수 도메인 손실에 포칼 손실 스타일의 가중치를 적용하여, 비균일 분포를 통해 어려운 주파수 성분에 적응적으로 집중할 수 있도록 한다.
• 기존의 공간 손실(예: 인지적 손실, L1/L2 손실)과의 보완 목적을 위해 FFL을 통합함으로써 전체 학습의 안정성과 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간 도메인 손실 외에 주파수 도메인 최적화가 이미지 복원 및 합성 품질 향상에 기여하는가?
• RQ2 신경망의 스펙트럼 편향이 생성된 이미지에서 고주파 성분 학습을 얼마나 심각하게 방해하는가?
• RQ3 어려운 주파수 성분에 적응적으로 강조하는 주파수 인식 손실 함수가 인지적으로 우수하고 정량적으로도 향상된 결과를 낳을 수 있는가?
• RQ4 FFL은 VAE, pix2pix, SPADE, StyleGAN2와 같은 다양한 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 FFL은 GAN 생성 이미지에서 흔히 발생하는 주기적 잡음과 스펙트럼 왜곡을 효과적으로 줄이는가?

주요 결과

• FFL은 FID 점수를 크게 향상시킨다: CelebA-HQ (1024×1024)에서 StyleGAN2에 FFL을 적용한 결과 FID가 3.374로 개선되어 원본 모델의 3.733을 상회한다.
• 이미지 간 전환(엣지→신발) 작업에서 FFL은 FID를 기준선의 80.279에서 74.359로 감소시키며, IS는 2.674에서 2.804로 향상된다.
• 애니메이션 초상화(64×64)에서 FFL은 PSNR를 19.885에서 20.657로, SSIM을 0.575에서 0.628로 향상시키며, LFD는 14.822에서 14.644로 감소시킨다.
• 시각적 분석 결과 FFL은 주파수 도메인 간격을 좁히는 것으로 확인되었다: FFL로 학습된 VAE는 더 이상 주파수 영역에 국한된 편향을 보이지 않으며 고주파 성분을 복원한다.
• FFL은 기존 모델에서 손실되는 필수적인 스펙트럼 패턴(예: 주기적 구조)을 생성할 수 있게 하여 주파수 정밀도 향상을 시사한다.
• 절단(Truncation) 없이도 StyleGAN2에 FFL을 적용하면 눈이나 이가 손상된 잡음이 줄어들어 사실감 있는 이미지를 생성함으로써, 세부 구조 합성 능력 향상을 확인할 수 있다.