[논문 리뷰] Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank

Shirui Huang, Keyan Wang외 3명|arXiv (Cornell University)|2023. 03. 16.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 수중 영상 복원을 위한 면밀한 교사 기반의 준지도 학습 프레임워크인 Semi-UIR을 제안한다. 이는 신뢰할 수 있는 고품질 가짜 레이블 뱅크와 대비 정규화를 도입하여 일반화 능력 저하와 확인 편향을 해결한다. MUSIQ를 활용한 신뢰할 수 있는 가짜 레이블 선택과 대비 학습을 통한 과적합 방지를 통해, 전체 참조 및 비참조 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Despite the remarkable achievement of recent underwater image restoration techniques, the lack of labeled data has become a major hurdle for further progress. In this work, we propose a mean-teacher based Semi-supervised Underwater Image Restoration (Semi-UIR) framework to incorporate the unlabeled data into network training. However, the naive mean-teacher method suffers from two main problems: (1) The consistency loss used in training might become ineffective when the teacher's prediction is wrong. (2) Using L1 distance may cause the network to overfit wrong labels, resulting in confirmation bias. To address the above problems, we first introduce a reliable bank to store the "best-ever" outputs as pseudo ground truth. To assess the quality of outputs, we conduct an empirical analysis based on the monotonicity property to select the most trustworthy NR-IQA method. Besides, in view of the confirmation bias problem, we incorporate contrastive regularization to prevent the overfitting on wrong labels. Experimental results on both full-reference and non-reference underwater benchmarks demonstrate that our algorithm has obvious improvement over SOTA methods quantitatively and qualitatively. Code has been released at https://github.com/Huang-ShiRui/Semi-UIR.

연구 동기 및 목표

• 실세계 환경에서 모델의 일반화 능력을 제한하는 라벨이 부족한 수중 영상 데이터의 부족 문제를 해결하기 위해.
• 신뢰할 수 없는 가짜 레이블로 인해 불안정해지는 면밀한 교사 기반 방법의 문제를 해결하기 위해.
• L1 기반의 일致성 손실이 잘못된 예측에 대해 과적합을 유도할 수 있는 확인 편향을 완화하기 위해.
• 신뢰할 수 있는 가짜 레이블링과 대비 정규화를 결합하여 모델의 강인성과 성능을 향상시키기 위해.

제안 방법

• 신뢰할 수 있는 뱅크는 NR-IQA 지표의 단조성 성질을 활용해 최고의 이전 출력을 저장한다.
• 단조성 기반의 경험적 분석을 통해 MUSIQ가 가장 안정적인 NR-IQA 지표로 규명되었으며, 이는 고품질 가짜 레이블을 선택하는 데 사용된다.
• 면밀한 교사 프레임워크는 기능 다양성을 장려함으로써 잘못된 예측에 대한 과적합을 방지하기 위해 대비 정규화 손실로 확장된다.
• 학생 네트워크는 라벨이 있는 데이터에 대한 지도 학습 손실, 라벨이 없는 데이터에 대한 일致성 손실, 그리고 기능 일반화를 향상시키기 위한 대비 손실의 조합으로 훈련된다.
• 색상 왜곡, 가우시안 블러, Grayscale 등의 데이터 증강 전략이 강인성을 향상시키며, 최적의 성능을 위해 병합되어 사용된다.
• 교사 네트워크는 학생의 가중치에 대한 지수 이동 평균(EMA)을 통해 업데이트되어 안정적인 가짜 레이블 생성을 보장한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 가짜 레이블 뱅크는 준지도 학습 수중 영상 복원에서 교사 예측의 일관성과 품질을 향상시키는가?
• RQ2 노이즈가 있는 가짜 레이블을 가진 준지도 학습에서 대비 정규화는 확인 편향과 과적합을 효과적으로 줄이는가?
• RQ3 비참조 영상 품질 평가(NR-IQA) 지표 중 인간의 인지와 가장 잘 일치하며, 고품질 가짜 레이블 선택에 신뢰성 있게 사용될 수 있는 것은 무엇인가?
• RQ4 신뢰할 수 있는 뱅크와 대비 정규화의 통합은 표준 면밀한 교사 및 기준 준지도 학습 방법에 비해 성능과 강인성 측면에서 어떻게 비교되는가?
• RQ5 다양한 데이터 증강 전략이 제안된 프레임워크에서 최종 복원 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 Semi-UIR 방법은 EUVP 벤치마크에서 최고의 PSNR 24.59와 MUSIQ 51.66를 기록하여 모든 아블레이션 변형 및 SOTA 방법을 압도한다.
• 아블레이션 연구는 신뢰할 수 있는 뱅크와 대비 정규화의 조합이 가장 뛰어난 성능을 낸다는 것을 확인하며, 기준 준지도 학습 방법 대비 EUVP에서 MUSIQ가 3.43점 향상되었다.
• MUSIQ를 사용해 신뢰할 수 있는 가짜 레이블을 선택하면 testR에서 NIMA 대비 PSNR가 0.31점 향상되었고, PAQ2PIQ 대비 0.20점 향상되었다.
• 세 가지 데이터 증강 전략을 모두 적용한 전체 방법은 EUVP에서 최고의 SSIM(0.901)과 MUSIQ(51.66)를 기록하여 병합 증강의 효과를 입증한다.
• 정성적 결과는 신뢰할 수 있는 뱅크가 색상 왜곡을 방지하고, 대비 정규화가 과도한 강조를 방지함으로써 두 구성 요소가 상호 보완적 역할을 한다는 것을 확인한다.
• 중간 훈련 결과는 초기 단계에서 교사 네트워크가 항상 학생보다 뛰어나며, 양자가 함께 향상됨을 보여주어 일관성 훈련 메커니즘의 타당성을 검증한다.