[논문 리뷰] Loss Functions for Neural Networks for Image Processing

Hang Zhao, Orazio Gallo외 2명|arXiv (Cornell University)|2015. 11. 28.

Advanced Image Processing Techniques참고 문헌 26인용 수 222

한 줄 요약

이 논문은 이미지 복원 작업에서 신경망에 대한 새로운 미분 가능한 손실 함수인 Mix를 제안한다. 이는 L1 및 MS-SSIM 손실의 장점을 결합한다. 인간의 시각적 품질 인식과 관련된 손실 함수를 사용할 경우, 고정된 아키텍처 조건에서도 기존의 ℓ₂ 손실보다 이미지 품질이 크게 향상됨을 보여주며, 초해상도, JPEG 아티팩트 제거, 공동 노이즈 제거/데모사이킹 작업 전반에서 ℓ₂, ℓ₁, SSIM, MS-SSIM를 모두 능가하는 성능을 보인다.

ABSTRACT

Neural networks are becoming central in several areas of computer vision and image processing and different architectures have been proposed to solve specific problems. The impact of the loss layer of neural networks, however, has not received much attention in the context of image processing: the default and virtually only choice is L2. In this paper, we bring attention to alternative choices for image restoration. In particular, we show the importance of perceptually-motivated losses when the resulting image is to be evaluated by a human observer. We compare the performance of several losses, and propose a novel, differentiable error function. We show that the quality of the results improves significantly with better loss functions, even when the network architecture is left unchanged.

연구 동기 및 목표

• 이미지 복원 신경망에서 손실 함수에 대한 관심 부족 문제를 다루되, 이는 훈련 과정에서 핵심적인 역할을 한다.
• 인간의 이미지 품질 인식과 상관관계가 낮은 표준 ℓ₂ 손실의 대안을 탐색한다.
• 시각적 품질에 기반한 손실 함수인 L1, SSIM, MS-SSIM의 이미지 복원 성능에 미치는 영향을 평가한다.
• L1과 MS-SSIM을 융합하여 개선된 시각적 품질과 수렴성을 확보하는 새로운, 미분 가능한 손실 함수인 Mix를 제안한다.
• 네트워크 아키텍처를 그대로 유지한 상태에서도 손실 함수 선택이 결과에 상당한 영향을 미칠 수 있음을 입증한다.

제안 방법

• 백프로파게이션에 사용 가능한 L1, SSIM, MS-SSIM의 미분 가능한 버전을 설계하고 구현하여 손실 레이어로 활용한다.
• L1과 MS-SSIM 손실의 가중 조합으로 구성된 하이브리드 손실 함수인 Mix를 제안하여 상호보완적인 강점을 활용한다.
• 초해상도, JPEG 아티팩트 제거, 공동 노이즈 제거/데모사이킹 세 가지 이미지 복원 작업에 대해 완전 컨volutional 신경망을 훈련시킨다.
• 저통과 필터링과 다운샘플링을 통해 생성된 합성 데이터를 사용하여 실제 이미징 과정과 일치하는 왜곡을 시뮬레이션한다.
• 모든 손실 레이어를 Caffe에 구현하고 공개하여 재현 가능성과 커뮤니티 활용을 지원한다.
• MS-SSIM, PSNR, SSIM 등의 다수의 이미지 품질 평가 지표를 사용해 광범위한 정량적 및 정성적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처를 동일하게 유지할 경우, 손실 함수 선택이 이미지 복원 결과의 시각적 품질에 어떤 영향을 미치는가?
• RQ2 SSIM 및 MS-SSIM과 같은 시각적 품질 기반 손실 함수가 이미지 복원 작업에서 표준 ℓ₂ 손실보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 SSIM 및 MS-SSIM 손실 함수는 시각적 관련성이 높음에도 불구하고 왜 최적의 성능을 내지 못하는가?
• RQ4 L1과 MS-SSIM을 융합한 하이브리드 손실이 정량적 지표와 시각적 품질 측면에서 개별 손실 함수보다 더 뛰어난 성능을 내는가?
• RQ5 수렴 특성과 국소 최적값은 다양한 손실 함수 간 성능 차이에 어떤 역할을 하는가?

주요 결과

• L1과 MS-SSIM을 융합한 Mix 손실 함수는 초해상도 작업에서 MS-SSIM 점수 0.9829를 기록하여, ℓ₂(0.9748), ℓ₁(0.9744), SSIM(0.9752), MS-SSIM(0.9752)를 모두 능가한다. 이는 다양한 가우시안 필터 표준편차 조건에서도 동일하게 유지된다.
• ℓ₂ 손실로 훈련된 네트워크는 평탄한 영역에서 눈에 띄는 점무늬 아티팩트를 보이지만, Mix로 훈련된 네트워크는 훨씬 더 매끄럽고 자연스러운 결과를 보이며, 시각적 품질에서도 ℓ₁를 초월한다.
• 모든 손실 함수가 가우시안 필터 표준편차(3에서 5 픽셀) 변화에 따라 동일한 경향을 보이며, 이는 손실 함수 간 상대적 순위가 왜곡 모델의 변화에 대해 강건함을 시사한다.
• ℓ₂ 손실의 열악한 성능은 수렴 문제와 국소 최적값의 영향을 받는 것으로 분석되며, 이는 ℓ₂ 기반 모델이라도 더 나은 손실 함수로 재훈련하면 성능 향상이 가능함을 시사한다.
• 제안된 Mix 손실은 상태기반의 노이즈 제거 알고리즘인 CFA-BM3D를 능가하는 성능을 보이며, 공동 노이즈 제거 및 데모사이킹 작업에서 실용적 우수성을 입증한다.
• SSIM 및 MS-SSIM은 균일한 오프셋에 민감하고 특정 이미지 구조에 대한 반응이 제한되어 있어 최적의 성능을 내지 못하지만, 하이브리드 Mix 손실이 이를 완화한다.