[논문 리뷰] Evaluating COPY-BLEND Augmentation for Low Level Vision Tasks

Pranjay Shyam, Sandeep Singh Sengar외 2명|arXiv (Cornell University)|2021. 03. 10.

Advanced Neural Network Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 저해상도 시각 작업, 예를 들어 저조도 영상 강화, 안개 제거, 블러 제거와 같은 저수준 시각 작업을 햖을 때 성능을 향상시키기 위해 노이즈가 있는 이미지와 정제된 이미지에서 패치를 복사하고 혼합하는 영역 기반 데이터 증강 기법인 Copy-Blend을 제안한다. 공간 일관성을 유지하면서 다양한 열화 강도를 도입함으로써, Copy-Blend는 모델 성능을 향상시키고, 훈련 데이터 요구량을 줄이며, 백본 네트워크를 수정하지 않아도 되는 조건에서 조기에 수렴하게 한다.

ABSTRACT

Region modification-based data augmentation techniques have shown to improve performance for high level vision tasks (object detection, semantic segmentation, image classification, etc.) by encouraging underlying algorithms to focus on multiple discriminative features. However, as these techniques destroy spatial relationship with neighboring regions, performance can be deteriorated when using them to train algorithms designed for low level vision tasks (low light image enhancement, image dehazing, deblurring, etc.) where textural consistency between recovered and its neighboring regions is important to ensure effective performance. In this paper, we examine the efficacy of a simple copy-blend data augmentation technique that copies patches from noisy images and blends onto a clean image and vice versa to ensure that an underlying algorithm localizes and recovers affected regions resulting in increased perceptual quality of a recovered image. To assess performance improvement, we perform extensive experiments alongside different region modification-based augmentation techniques and report observations such as improved performance, reduced requirement for training dataset, and early convergence across tasks such as low light image enhancement, image dehazing and image deblurring without any modification to baseline algorithm.

연구 동기 및 목표

• 표준 영역 수정 기반 데이터 증강 기법이 공간 일관성을 해칠 때 저수준 시각 작업에서 성능이 열 劣하는 문제를 해결하기 위해.
• 아키텍처 변경 없이 복사-혼합 증강 전략이 저수준 복원 작업에서 모델의 일반화 능력과 강건성을 향상시킬 수 있는지 조사하기 위해.
• Copy-Blend가 쌍체 훈련 데이터셋의 크기를 줄이고도 최고 성능을 유지할 수 있는지 평가하기 위해.
• 다양한 저수준 시각 벤치마크에서 기존 증강 방법(예: CutMix, CutOut, MixUp, CutBlur)과의 비교를 통해 Copy-Blend의 성능을 평가하기 위해.

제안 방법

• Copy-Blend는 정제된 이미지에서 패치를 복사하여 노이즈가 있는 입력 이미지(또는 그 반대)에 혼합하는 데 사용되는 블렌딩 마스크를 구성함으로써 공간 관계를 유지하고 열화 강도를 다양하게 한다.
• 부동소수점 마스크(α ∈ [0,1])를 사용하여 부드러운 전이를 구현함으로써 날카운 에지가 특징 학습을 방해하는 것을 방지한다.
• 임의의 패치 모양과 크기를 적용하며, 최적의 성능는 이미지당 두 개의 정사각형 패치에서 관찰되었다.
• 증강은 기초 신경망 아키텍처를 수정하지 않고 훈련 중에 적용된다.
• 표준 벤치마크인 LOL, NTIRE-19, GO-PRO, SICE에서 PSNR, SSIM, NIQE를 사용하여 성능을 평가한다.
• 패치 수, 형태, 훈련 데이터 비율에 대한 분석 실험을 통해 데이터 효율성과 수렴 속도를 평가한다.

실험 결과

연구 질문

• RQ1 표준 증강 기법과 비교했을 때 Copy-Blend가 저조도 강화, 안개 제거, 블러 제거와 같은 저수준 시각 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 Copy-Blend를 사용하면 쌍체 훈련 데이터셋의 크기를 줄여도 최고 성능를 유지할 수 있는가?
• RQ3 Copy-Blend는 베이스라인 및 다른 증강 전략 대비 조기에 모델 수렴을 이룰 수 있는가?
• RQ4 증강된 패치의 수와 형태는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• Copy-Blend는 모든 평가된 작업에서 최고의 PSNR 및 SSIM 성능를 기록하였다: DLN에 대해 LOL에서 21.47/0.86, MSNet에 대해 NTIRE-19에서 14.27/0.62, DeblurGANv2에 대해 GO-PRO에서 29.91/0.93.
• 안개 제거 및 블러 제거 작업에서 성능 향상이 가장 두드러졌으며, Copy-Blend는 CutBlur 및 기타 영역 수정 기반 방법을 능가하였다.
• 원래 훈련 데이터의 20%만을 사용하여도 Copy-Blend를 적용한 모델는 기존 베이스라인 증강 기법을 사용한 전체 데이터셋 훈련과 동일한 최고 성능를 달성하였다.
• Copy-Blend는 조기에 수렴을 가능하게 하여, 베이스라인 및 다른 증강 기법 대비 더 적은 에포크 수 내에 최고 성능를 달성하였다.
• 최적의 구성은 이미지당 두 개의 정사각형 패치를 사용한 것으로, 다른 형태나 더 높은 패치 수는 성능 저하를 초래하였다.
• Copy-Blend는 LOL 데이터셋에서 NIQE(시각적 품질 지표)를 3.05에서 2.84로 감소시켜 시각적 품질 향상을 입증하였다.