[논문 리뷰] Underwater Ranker: Learn Which Is Better and How to Be Better

Chunle Guo, Ruiqi Wu외 5명|arXiv (Cornell University)|2022. 08. 14.

Image Enhancement Techniques인용 수 11

한 줄 요약

이 논문은 히스토그램 사전과 동적 크로스스케일 대응을 통해 글로벌 및 로컬 열화를 모델링하는 컨volution-어텐션 트랜스포머를 사용한 랭킹 기반 수중 영상 품질 평가(UIQA) 방법인 URanker를 제안한다. 이는 UIQA에서 최신 기술 성능을 달성하며, 미분 가능 손실으로 사용될 경우 수중 영상 향상(UIE) 성능을 향상시킨다. 새로운 데이터셋인 URankerSet과 새로운 정규화 꼬리(정규화 테일)는 UIE 성능을 더욱 향상시킨다.

ABSTRACT

In this paper, we present a ranking-based underwater image quality assessment (UIQA) method, abbreviated as URanker. The URanker is built on the efficient conv-attentional image Transformer. In terms of underwater images, we specially devise (1) the histogram prior that embeds the color distribution of an underwater image as histogram token to attend global degradation and (2) the dynamic cross-scale correspondence to model local degradation. The final prediction depends on the class tokens from different scales, which comprehensively considers multi-scale dependencies. With the margin ranking loss, our URanker can accurately rank the order of underwater images of the same scene enhanced by different underwater image enhancement (UIE) algorithms according to their visual quality. To achieve that, we also contribute a dataset, URankerSet, containing sufficient results enhanced by different UIE algorithms and the corresponding perceptual rankings, to train our URanker. Apart from the good performance of URanker, we found that a simple U-shape UIE network can obtain promising performance when it is coupled with our pre-trained URanker as additional supervision. In addition, we also propose a normalization tail that can significantly improve the performance of UIE networks. Extensive experiments demonstrate the state-of-the-art performance of our method. The key designs of our method are discussed. We will release our dataset and code.

연구 동기 및 목표

• 다양한 열화 조건에서 기존의 전체 참조 및 비참조 UIQA 방법의 한계를 해결하기 위해 수중 영상 품질 평가의 정확성을 향상시키는 것.
• 고정된 수작업으로 만든 지표나 참조 레이블에 의존하지 않는 기계학습 기반의 랭킹 접근법을 개발하는 것.
• 여러 개의 UIE 알고리즘에서의 인지적 순위가 매겨진 결과를 포함한 새로운 데이터셋 URankerSet을 구축하여 학습 및 평가에 활용하는 것.
• 학습된 URanker를 다양한 UIE 네트워크 성능 향상을 위해 미분 가능한 손실로 활용할 수 있도록 하는 것.
• 시각적 품질 향상에 크게 기여하는 단순하면서도 효과적인 정규화 꼬리(정규화 테일)를 제안하는 것.

제안 방법

• 멀티스케일 특징과 의존성을 캡처하기 위해 효율적인 컨볼루션-어텐션 기반 이미지 트랜스포머를 기반으로 한 URanker 모델을 구축한다.
• 히스토그램 사전 모듈은 수중 영상의 색상 분포를 히스토그램 토큰으로 인코딩하여 글로벌 열화에 주목하도록 한다.
• 동적 크로스스케일 대응(DCPB) 메커니즘은 스케일 간 특징을 적응적으로 융합하여 국소적 열화를 모델링한다.
• 최종 예측은 다중 스케일에서의 클래스 토큰을 통합하여 다중 스케일의 문맥 정보를 반영한다.
• URankerSet 데이터셋에서 인지적으로 순위가 매겨진 향상 결과를 기반으로 마진 랭킹 손실을 사용해 모델을 훈련한다.
• 특징 분포의 안정성을 향상시켜 UIE 네트워크 성능을 향상시키기 위해 미분 가능한 정규화 꼬리(정규화 테일)를 제안한다.

실험 결과

연구 질문

• RQ1 기존의 비참조 UIQA 지표인 UCIQE 및 UIQM과 비교해 랭킹 기반 학습 접근법이 수중 영상 품질 평가에서 더 우수한 성능을 낼 수 있는가?
• RQ2 히스토그램 사전가 수중 영상의 글로벌 색상 열화를 평가에 효과적으로 반영할 수 있는가?
• RQ3 동적 크로스스케일 특징 융합이 UIQA에서 국소적 영상 열화를 모델링하는 데 얼마나 효과적인가?
• RQ4 사전에 학습된 URanker가 UIE 네트워크 성능 향상을 위해 미분 가능한 지도 신호로 사용될 경우, 어느 정도의 성능 향상을 이룰 수 있는가?
• RQ5 간단한 정규화 꼬리가 UIE 결과의 시각적 품질을 크게 향상시킬 수 있는가?

주요 결과

• URanker는 URankerSet 데이터셋에서 최신 기술 성능을 달성하며, SRCC 0.8655와 KRCC 0.7402를 기록한다.
• 히스토그램 사전 모듈(HPM)은 기여가 크며, 이를 제거할 경우 SRCC가 0.80% 감소하고 KRCC가 0.28% 감소한다.
• 동적 크로스스케일 대응 블록(DCPB)은 고정된 연결 패턴(예: 밀집 또는 인접 연결)보다 우수하며, 전체 모델이 최고의 랭킹 정확도를 달성한다.
• 사전에 학습된 URanker를 추가 손실로 사용할 경우, 세 개의 UIE 네트워크에서 PSNR가 최대 2.456 dB 향상되고 SSIM이 0.039 향상된다.
• 제안된 정규화 꼬리 덕분에 PSNR는 18.857에서 22.419로, SSIM은 0.8682에서 0.9227로 향상되어 그 효과가 뚜렷하다.
• URanker 지도와 정규화 꼬리를 적용한 NU2Net 모델은 WaterNet과 Ucolor를 능가하는 최신 기술 성능을 달성한다.