[논문 리뷰] Training a Better Loss Function for Image Restoration.

Aamir Mustafa, Aliaksei Mikhailiuk외 3명|arXiv (Cornell University)|2021. 03. 26.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 이미지 복원에 사용되는 경량이며 단일 이미지로 훈련되는 다중 척도 분류 특징(MDF) 손실을 제안한다. 이는 VGG나 LPIPS와 같은 계산 비용이 큰 사전 훈련된 네트워크를 대체한다. MDF 손실은 특정 복원 방법에 의해 유도되는 왜곡을 식별하도록 훈련된 분류기들을 활용하여, 초해상도, 노이즈 제거, JPEG 아티팩트 제거 등 다양한 과제에서 최신 기술 수준의 성능을 달성한다. 이는 복잡도가 감소하고 외부 사전 훈련이 필요 없이도 가능하다.

ABSTRACT

Central to the application of neural networks in image restoration problems, such as single image super resolution, is the choice of a loss function that encourages natural and perceptually pleasing results. A popular choice for a loss function is a pre-trained network, such as VGG and LPIPS, which is used as a feature extractor for computing the difference between restored and reference images. However, such an approach has multiple drawbacks: it is computationally expensive, requires regularization and hyper-parameter tuning, and involves a large network trained on an unrelated task. In this work, we explore the question of what makes a good loss function for an image restoration task. First, we observe that a single natural image is sufficient to train a lightweight feature extractor that outperforms state-of-the-art loss functions in single image super resolution, denoising, and JPEG artefact removal. We propose a novel Multi-Scale Discriminative Feature (MDF) loss comprising a series of discriminators, trained to penalize errors introduced by a generator. Second, we show that an effective loss function does not have to be a good predictor of perceived image quality, but instead needs to be specialized in identifying the distortions for a given restoration method.

연구 동기 및 목표

• 이미지 복원에서 VGG나 LPIPS와 같은 사전 훈련된 네트워크를 손실 함수로 사용할 때 발생하는 한계, 즉 계산 비용이 높고 초모수 조정이 필요하다는 점을 해결하기 위해.
• 일반적인 인지적 손실보다는 작업에 특화된 특징 추출기가 이미지 복원 과제에서 더 나은 성능을 낼 수 있는지 조사하기 위해.
• 일반적인 이미지 품질 예측이 아니라 특정 복원 방법이 유도하는 왜곡을 탐지하는 데 특화된 손실 함수를 개발하기 위해.
• 대규모로 관련 없는 사전 훈련된 모델에 의존하는 것을 줄이기 위해, 단일 자연 이미지에서 직접 최소한의 네트워크를 훈련시키기 위해.

제안 방법

• 다양한 척도에서 실제 이미지와 복원된 이미지를 구분하도록 훈련된 다수의 분류기로 구성된 다중 척도 분류 특징(MDF) 손실을 제안한다.
• 복원 과제에 특화된 왜곡을 처벌하는 데 중점을 두고, GAN 유사 목적 함수를 사용하여 생성기와 함께 분류기를 종합적으로 훈련한다.
• 대규모 데이터셋이나 관련 없는 작업에 대한 사전 훈련이 필요 없도록, 단일 자연 이미지를 사용해 경량 특징 추출기를 훈련시킨다.
• 국소적이고 전반적인 왜곡을 모두 포착하기 위해 다중 척도 아키텍처를 활용하여, 구조적 및 텍스처 아티팩트에 대한 민감도를 향상시킨다.
• 표준 역전파를 사용하여 손실를 최적화하고, MDF 손실을 복원 네트워크의 훈련 목표에 통합한다.

실험 결과

연구 질문

• RQ1 단일 자연 이미지로 훈련된 경량 특징 추출기가 이미지 복원 과제에서 VGG나 LPIPS와 같은 사전 훈련된 인지적 손실을 능가할 수 있는가?
• RQ2 특정 작업에 특화된 왜곡을 탐지하는 데 중점을 둔 손실 함수가 일반적인 인지적 손실보다 더 나은 성능을 낼 수 있는가?
• RQ3 성능을 저하시키지 않고도 이미지 복원 손실 함수에서 대규모 사전 훈련된 네트워크의 필요성을 제거할 수 있는가?
• RQ4 MDF 손실의 다중 척도 설계가 다양한 과제에서 복원 품질 향상에 어떻게 기여하는가?

주요 결과

• MDF 손실은 단일 이미지 초해상도, 노이즈 제거, JPEG 아티팩트 제거 과제에서 VGG와 LPIPS 기반 손실을 능가하는 최신 기술 수준의 성능을 달성한다.
• 제안된 손실 함수는 사전 훈련된 인지적 손실보다 훨씬 더 효율적이며, 대규모 사전 훈련이나 초모수 조정이 필요 없다.
• 단일 자연 이미지만으로도 고성능 특징 추출기를 훈련시킬 수 있어, 이 방법의 데이터 효율성이 입증된다.
• MDF 손실은 인지 품질을 잘 예측하는 데서는 성능이 좋지 않아도 되며, 오히려 특정 복원 과제에 관련된 왜곡을 식별하는 데 뛰어나다.