[논문 리뷰] A Loss Function for Generative Neural Networks Based on Watson's Perceptual Model

Steffen Czolbe, Oswin Krause외 2명|arXiv (Cornell University)|2020. 06. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 14

한 줄 요약

이 논문은 워터슨의 시각 인지 모델을 기반으로 하되, 푸리에 변환, 색상 지원, 랜덤 타일링, 미분 가능 연산을 추가한, 미분 가능하고 인지적으로 유용한 손실 함수를 제안한다. 인간의 유사성 판단 데이터로 훈련된 이 손실 함수는 VAE에서 생성된 이미지의 뿌연 현상과 잡음 문제를 줄이며, L2, SSIM, 딥 메트릭 손실 함수보다 품질과 효율성 면에서 뛰어나다.

ABSTRACT

To train Variational Autoencoders (VAEs) to generate realistic imagery requires a loss function that reflects human perception of image similarity. We propose such a loss function based on Watson's perceptual model, which computes a weighted distance in frequency space and accounts for luminance and contrast masking. We extend the model to color images, increase its robustness to translation by using the Fourier Transform, remove artifacts due to splitting the image into blocks, and make it differentiable. In experiments, VAEs trained with the new loss function generated realistic, high-quality image samples. Compared to using the Euclidean distance and the Structural Similarity Index, the images were less blurry; compared to deep neural network based losses, the new approach required less computational resources and generated images with less artifacts.

연구 동기 및 목표

• 표준 픽셀 단위 손실 함수인 L2나 SSIM을 사용할 경우 생성된 VAE 이미지가 자주 뿌연 현상이 발생하는 문제를 해결하기 위해.
• 분류 미리 훈련된 딥 네트워크 기반의 인지 손실 함수가 시각적 잡음에 대해 불변성을 띠는 문제를 해결하기 위해.
• 인간 시각 인지에 기반한 경량이며, 미분 가능하고 강건한 인지 손실 함수를 개발하기 위해, 특히 워터슨 모델을 중심으로.
• 계산 비용과 생성 샘플의 잡음 요소를 최소화하면서도 다양한 이미지 도메인(예: 숫자, 얼굴) 간의 일반화 능력을 향상시키기 위해.

제안 방법

• 원래 워터슨 모델의 DCT를 이산 푸리에 변환(DFT)으로 대체하여, 진폭과 위상 정보를 분리함으로써 미세한 이동에 대한 강건성을 향상시킨다.
• 모노크롬 워터슨 모델을 색상 이미지 처리를 위해 확장하기 위해 각 채널을 별도로 처리하고, 인지적 가중치를 조합한다.
• 블록 단위 DFT 계산에서 고정된 격자 구조를 랜덤 타일링 구조로 대체하여 격자에 기인한 잡음 요소를 제거한다.
• 원래 모델의 비미분 가능 max 연산자를 미분 가능 근사치로 대체하여 VAE의 엔드 투 엔드 훈련을 가능하게 한다.
• 인간의 유사성 판단 데이터를 활용해 인지 손실 함수를 최적화하고, 자유 매개변수를 인간 인지와 일치하도록 훈련시킨다.
• 최종적으로 유도된 미분 가능한 인지 손실 함수를 VAE 훈련에 통합하여, 기존의 L2나 SSIM 손실 함수를 대체한다.

실험 결과

연구 질문

• RQ1 워터슨 모델과 같은 인지적으로 기반을 둔 명시적 모델이 기존의 L2나 SSIM 손실 함수보다 VAE에서 이미지 생성 품질을 향상시킬 수 있는가?
• RQ2 DCT를 DFT로 대체함으로써 인지 손실 함수의 미세한 이미지 이동에 대한 강건성이 향상되는가?
• RQ3 신경망 기반 손실 함수보다 비신경망 기반의 미분 가능 인지 손실 함수가 이미지 품질과 계산 효율성 면에서 뛰어나게 성능을 내는가?
• RQ4 블록 처리에 랜덤 타일링을 적용함으로써 손실 계산에서 눈에 띄는 격자 잡음 요소가 제거되는가?
• RQ5 수정된 워터슨 기반 손실 함수가 수기 숫자나 유명인 얼굴 등 다양한 이미지 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• 인간 평가와 시각적 점검을 통해, 제안된 인지 손실 함수를 사용해 훈련된 VAE는 L2나 SSIM 손실 함수를 사용한 경우보다 뿌연 현상이 현저히 줄어든 이미지를 생성했다.
• 상대적으로 훨씬 적은 계산 자원과 메모리 자원을 요구하면서도, 최신의 딥 메트릭 기반 손실 함수인 LPIPS보다도 더 적은 시각적 잡음 요소를 생성했다.
• 도메인 특화 미세조정 없이도 손글씨 숫자와 유명인 얼굴 등 다양한 이미지 도메인에서 잘 일반화되었다.
• max 연산자 대체로 유도된 손실 함수의 미분 가능성 덕분에 VAE의 안정적인 엔드 투 엔드 훈련이 가능했으며 성능 저하 없이 유지되었다.
• DFT 기반 접근 방식은 미세한 이동에 대해 강건성을 향상시켰으며, 작은 이동에 대해서도 일관된 인지 유사도 점수를 기록했다. 반면 원래 DCT 기반 모델은 이에 대비해 불안정했다.
• 인간의 유사성 판단 데이터로 훈련된 인지 손실 함수는 L2와 SSIM 모두보다 인간 판단에 더 잘 맞았으며, 이미지 생성 품질 면에서 딥 메트릭 기반 기준보다 뛰어났다.