[논문 리뷰] DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement

Jingchun Zhou, Zongxin He외 4명|arXiv (Cornell University)|2023. 12. 12.

Image Enhancement Techniques인용 수 5

한 줄 요약

DGNet는 동적 그래디언트 가이드 네트워크를 제안하여 자가 업데이트되는 가짜 레이블을 통해 그래디언트를 정밀하게 조정하고 국소 최적해에서 벗어나도록 한다. 또한 채널 조합 추론 기반 기능 복원 및 재구성(FRR) 모듈과 주파수 도메인 스무딩(FRS) 모듈을 통합하여 노이즈와 아티팩트를 억제한다. UIEB 데이터셋에서 PSNR 25.6 dB, SSIM 0.93를 기록하며, 파라미터 수와 추론 비용이 낮은 점에서 최신 기술을 초월한다.

ABSTRACT

Underwater image enhancement (UIE) is a challenging task due to the complex degradation caused by underwater environments. To solve this issue, previous methods often idealize the degradation process, and neglect the impact of medium noise and object motion on the distribution of image features, limiting the generalization and adaptability of the model. Previous methods use the reference gradient that is constructed from original images and synthetic ground-truth images. This may cause the network performance to be influenced by some low-quality training data. Our approach utilizes predicted images to dynamically update pseudo-labels, adding a dynamic gradient to optimize the network's gradient space. This process improves image quality and avoids local optima. Moreover, we propose a Feature Restoration and Reconstruction module (FRR) based on a Channel Combination Inference (CCI) strategy and a Frequency Domain Smoothing module (FRS). These modules decouple other degradation features while reducing the impact of various types of noise on network performance. Experiments on multiple public datasets demonstrate the superiority of our method over existing state-of-the-art approaches, especially in achieving performance milestones: PSNR of 25.6dB and SSIM of 0.93 on the UIEB dataset. Its efficiency in terms of parameter size and inference time further attests to its broad practicality. The code will be made publicly available.

연구 동기 및 목표

• 합성 또는 저품질의 쌍화된 데이터에 의존하는 감독 기반 수중 영상 향상(UIE) 방법의 한계를 해결하기 위해.
• 학습 중 동적 업데이트를 통해 가짜 레이블을 활용하여 모델의 일반화 능력과 적응성을 향상시키기 위해.
• 복잡한 수중 열화 상황에서 노이즈, 운동 블러, 색상 왜곡의 영향을 줄이기 위해.
• 실제 수중 응용에 적합한 경량이며 효율적인 네트워크를 개발하기 위해.

제안 방법

• 예측된 영상을 활용해 동적으로 가짜 레이블을 생성하고 업데이트함으로써 손실 표면을 안내하는 동적 그래디언트를 생성한다.
• 채널 조합 추론(CCI) 기반 기능 복원 및 재구성(FRR) 모듈을 도입하여 특징 분포를 복원하고 재구성한다.
• 고정 가중치 라플라시안 컨볼루션을 사용하는 주파수 도메인 스무딩(FRS) 모듈을 적용하여 운동 노이즈를 억제하고 저주파 아티팩트를 부드럽게 한다.
• 대trast와 조명 균형을 유지하기 위해 새로운 손실 항목 $L_{d}^{ au}$를 도입하여 전역 최적해로의 수렴을 유도한다.
• 재구성 정확도와 시각적 품질을 균형 있게 유지하기 위해 $L_1$, $L_{ssim}$, $L_{d}^{ au}$ 등의 손실 함수를 복수로 조합한다.
• 대trast 제한적 적응형 히스토GRAM 등분할(CLAHE)을 활용해 감도가 높은 가짜 레이블을 생성하여 조명과 대비 인식 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 기준 감독을 초월해 동적 가짜 레이블링이 수중 영상 향상에서 일반화 능력과 강건성을 향상시키는가?
• RQ2 복잡한 수중 열화 상황에서 노이즈와 운동 아티팩트를 효과적으로 억제할 수 있는가?
• RQ3 최소한의 파라미터로 경량 네트워크가 수중 영상 향상에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 동적 그래디언트 가이드가 국소 최소값에서 벗어나 수렴을 향상시키는 데 기여하는가?
• RQ5 주파수 도메인 스무딩과 기능 재구성 모듈이 함께 이미지 품질 향상과 아티팩트 감소에 기여하는가?

주요 결과

• DGNet는 UIEB 데이터셋에서 PSNR 25.6 dB, SSIM 0.93를 기록하며 이전 최신 기술 방법들을 크게 능가한다.
• Our-L 모델은 Semi-UIR(CVPR’23) 대비 PSNR 5.4% 향상, SSIM 3.1% 향상되었으며, 파라미터 수가 88.3% 감소하였다.
• FRS 모듈은 기준 추론 분석 대비 PSNR 11.5 dB 향상시켜 강력한 아티팩트 억제 능력을 입증한다.
• $L_{d}^{ au}$ 손실 항목이 존재할 경우 PSNR가 0.24 dB 향상되어 전역 최적화 유도 기능을 확인한다.
• 추론 분석 결과 FRR 및 FRS 모듈이 모두 필수적임을 확인하였으며, FRR는 PSNR를 0.7 dB, SSIM을 0.007 향상시켰다.
• 모델은 오직 0.7M 파라미터로 높은 효율성을 유지하며 계산 복잡도가 감소하여 실용적 구현이 가능하다.