[논문 리뷰] A Fusion Adversarial Underwater Image Enhancement Network with a Public Test Dataset

Hanyu Li, Jingjing Li외 1명|arXiv (Cornell University)|2019. 06. 17.

Image Enhancement Techniques참고 문헌 42인용 수 124

한 줄 요약

논문은 수중 이미지 향상을 위한 Fusion Adversarial Network(FGAN)과 공개 테스트 데이터셋(U45)을 제시하여 빠른 테스트 속도와 적은 파라미터로 경쟁력 있는 품질을 달성하고, 침착한 분석(ablation)과 응용 테스트를 수행한다.

ABSTRACT

Underwater image enhancement algorithms have attracted much attention in underwater vision task. However, these algorithms are mainly evaluated on different data sets and different metrics. In this paper, we set up an effective and pubic underwater test dataset named U45 including the color casts, low contrast and haze-like effects of underwater degradation and propose a fusion adversarial network for enhancing underwater images. Meanwhile, the well-designed the adversarial loss including Lgt loss and Lfe loss is presented to focus on image features of ground truth, and image features of the image enhanced by fusion enhance method, respectively. The proposed network corrects color casts effectively and owns faster testing time with fewer parameters. Experiment results on U45 dataset demonstrate that the proposed method achieves better or comparable performance than the other state-of-the-art methods in terms of qualitative and quantitative evaluations. Moreover, an ablation study demonstrates the contributions of each component, and the application test further shows the effectiveness of the enhanced images.

연구 동기 및 목표

• 색 편향, 대비 약화 및 안개와 같은 저하를 포괄하는 공개적이고 대표적인 수중 이미지 테스트 데이터셋의 필요성을 제시합니다.
• 두 입력을 융합하여 수중 이미지를 효율적이고 정확하게 향상시키는 Fusion Adversarial Network(FGAN)을 제안합니다.
• 내용 보존(content preservation)과 이미지 품질 향상을 위한 다항식 손실(L_gt 및 L_fe)과 스펙트럴 정규화(spectral normalization)를 설계합니다.
• 여러 최첨단 방법과 비교하여 U45 데이터셋에서 평가하고 구성요소의 기여를 isolating하기 위한 ablations를 수행합니다.

제안 방법

• _RAW 수중 이미지와 융합 향상 방법으로 향상된 이미지를 융합하는 2-input 완전 합성기(generator)를 사용합니다.
• 다층 컨볼루셔널 네트워크를 기반으로 한 inception 영감의 기본 블록과 다중 스케일 컨볼루션, 잔차 연결로 특징 학습을 강화합니다.
• 스펙트럴 정규화(SN)를 적용한 5-층 PatchGAN 스타일 판별기를 사용하여 안정적인 적대적 학습을 구현합니다.
• RaSGAN 기반 목표(L_D^RaSGAN, L_G^RaSGAN)와 두 개의 특징 보존 손실 L_gt와 L_fe(G의 손실)로 정의합니다(L_gt(G) = E[||x − G(y)||1], L_fe(G) = E[||x_fe − G(y)||1]).
• 내용 보존(content preservation)과 융합 향상 특징의 일치를 조정하기 위해 손실 가중치(λ_gt, λ_fe)를 조정합니다.
• 256x256x3 입력에서 평가하고 FE, RB, UDCP, UIBLA, DPATN, CycleGAN, WSCT, UGAN과 비교합니다.

실험 결과

연구 질문

• RQ1 융합 기반 GAN 아키텍처가 다양한 수중 조건에서 색 편향을 효과적으로 보정하면서 장면 세부 정보를 보존할 수 있는가?
• RQ2 dual 입력과 특화된 손실 항을 도입하면 기존 방법에 비해 객체지향 및 주관적 수중 이미지 품질이 향상되는가?
• RQ3 스펙트럴 정규화 및 아키텍처 블록이 생성 품질과 테스트 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 공공의 다양한 수중 테스트 데이터셋(U45)에서 최첨단 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 향상된 이미지를 사용할 때 하위 작업(에지 검출, 객체 탐지) 성능이 개선되는가?

주요 결과

• 듀얼 입력 융합을 갖춘 FGAN이 U45의 녹색, 파란색 및 안개 같은 카테고리에서 여러 기준선 대비 경쟁력 있거나 우수한 UIQM 및 UCIQE 점수를 달성합니다.
• FGAN은 256x256 이미지당 0.0286초의 빠른 테스트 속도와 비교적 적은 파라미터로 대형 모델의 속도보다 우수하거나 일치하는 성능을 제공합니다.
• 아블레이션 연구는 스펙트럴 정규화와 제안된 기본 블록이 모두 성능 향상에 기여하며, λ_fe를 증가시키면 융합 향상 입력과의 정합성이 향상됨을 보입니다.
• 객관적인 지표에서 DPATN은 일부 점수를 향상시키지만 특정 장면에서 시각적으로 다소 미흡한 결과를 낳을 수 있으며, FGAn은 하위집합에서 일관되게 높은 UIQM을 유지합니다.
• 정성적 결과는 FGAN이 색 편향 보정과 세부 보존 측면에서 여러 경쟁 방법보다 더 우수함을 보여줍니다(예: 녹색 장면의 산호, 파란색 장면의 물고기 등).
• 응용 테스트에서 FGAN으로 향상된 이미지 사용 시 캐니 에지 검출 및 객체 탐지와 같은 다운스트림 작업의 성능이 향상됩니다.