[논문 리뷰] Focal Frequency Loss for Generative Models

Liming Jiang, Bo Dai외 2명|arXiv (Cornell University)|2020. 12. 23.

Advanced Vision and Imaging인용 수 15

한 줄 요약

이 논문은 주어진 이미지를 푸리에 변환을 통해 주파수 영역로 변환하고, 쉽게 재현 가능한 주파수 성분은 가중치를 낮추고 어려운 주파수 성분은 강조함으로써 최적화 과정을 동적으로 하드 코너 주파수 성분에 집중시키는 새로운 목적 함수인 포칼 주파수 손실(Focal Frequency Loss, FFL)을 제안한다. 기존의 공간 영역 손실과 결합할 경우, FFL은 인지적 품질과 정량적 성능을 모두 향상시킨다.

ABSTRACT

Despite the remarkable success of generative models in creating photorealistic images using deep neural networks, gaps could still exist between the real and generated images, especially in the frequency domain. In this study, we find that narrowing the frequency domain gap can ameliorate the image synthesis quality further. To this end, we propose the focal frequency loss, a novel objective function that brings optimization of generative models into the frequency domain. The proposed loss allows the model to dynamically focus on the frequency components that are hard to synthesize by down-weighting the easy frequencies. This objective function is complementary to existing spatial losses, offering great impedance against the loss of important frequency information due to the inherent crux of neural networks. We demonstrate the versatility and effectiveness of focal frequency loss to improve various baselines in both perceptual quality and quantitative performance.

연구 동기 및 목표

• 최근 생성 모델의 발전에도 불구하고 실제 이미지와 생성된 이미지 간의 주파수 영역에서 지속적인 격차가 존재하는 문제를 해결하기 위해.
• 주파수 영역에서의 불일치를 명시적으로 최소화함으로써 이미지 합성 품질을 향상시키기 위해.
• 학습 중 어려운 주파수 성분을 동적으로 우선순위를 부여하는 손실 함수를 개발하기 위해.
• 신경망 최적화 과정에서 자주 손실되는 중요한 주파수 정보를 유지함으로써 기존의 공간 영역 손실을 보완하기 위해.
• 제안된 손실 함수가 다양한 생성 모델 아키텍처에 걸쳐 유연성과 효과성을 입증하기 위해.

제안 방법

• 입력 이미지를 푸리에 변환을 통해 주파수 표현으로 변환하는 주파수 영역 손실 함수를 제안한다.
• 쉽게 재현 가능한 주파수 성분은 가중치를 낮추고 어려운 주파수 성분은 강조하는 동적 가중치 메커니즘을 설계한다.
• 주파수 크기 기반의 포칼 가중치 요소를 포함한 주파수 영역에 적용된 수정된 L1 손실을 포칼 주파수 손실로 정의한다.
• 표준 공간 영역 손실(L1, L2 등)과 포칼 주파수 손실을 융합하여 하이브리드 학습 목표를 구성한다.
• 학습 중에 실제 이미지의 주파수 영역에 대한 정렬을 유도하기 위해 손실 함수를 적용한다.
• 하드 주파수 성분에 대한 집중 정도를 제어하기 위해 학습 가능한 또는 고정된 하이퍼파rameter를 사용한다.

실험 결과

연구 질문

• RQ1 어려운 주파수 성분에 집중함으로써 생성된 이미지의 인지적 품질을 향상시킬 수 있는가?
• RQ2 기존의 공간 영역 손실과 비교했을 때 주파수 영역 최적화는 생성 모델링에서 어떤가?
• RQ3 포칼 주파수 손실이 FID 및 LPIPS와 같은 정량적 지표에 얼마나 기여하는가?
• RQ4 제안된 손실 함수는 다양한 생성 모델 아키텍처와 데이터셋에 일반화되는가?
• RQ5 학습 과정에서 고주파 성분의 열화를 방지할 수 있는가?

주요 결과

• 포칼 주파수 손실은 생성된 이미지의 세밀한 무늬와 고주파 성분을 유지함으로써 인지적 품질을 크게 향상시킨다.
• 다양한 벤치마크에서 최신 기준 성능을 달성하며, FID 및 LPIPS 지표에서 일관된 향상을 보였다.
• 기존의 표준 공간 손실과 결합할 경우, 포칼 주파수 손실은 블러와 아티팩트 생성을 줄이며 더 현실적인 이미지 합성을 이룬다.
• 동적 가중치 메커니즘은 어려운 주파수 성분을 효과적으로 우선순위에 올려 학습 안정성과 수렴성을 향상시킨다.
• 손실 함수는 GAN 및 디퓨전 모델을 포함한 다양한 아키텍처에서 효과적이며, 넓은 적용 가능성을 보였다.
• 실험 결과는 주파수 영역 최적화가 신경망이 고주파 정보를 억제하는 경향을 완화시킴을 확인시켰다.