[논문 리뷰] Segmentation-Aware Image Denoising without Knowing True Segmentation

Sicheng Wang, Bihan Wen외 3명|arXiv (Cornell University)|2019. 05. 22.

Image and Signal Denoising Methods참고 문헌 52인용 수 15

한 줄 요약

이 논문은 훈련 중에 참조 분할 맵이 필요하지 않은 새로운 비지도 분할 인식 이미지 노이즈 제거 모델인 U-SAID를 제안한다. 이 모델은 분할 품질과 강건성을 향상시켜 후속 세분화 작업에 유리하다. 픽셀 단위의 불확실성 손실을 도입하여 특징 학습의 분류 능력을 향상시키며, 지도 학습 방법과 유사한 성능을 달성하면서도, 새로운 이미지, 데이터셋, 고수준 비전 작업으로의 일반화 능력이 뛰어나다.

ABSTRACT

Several recent works discussed application-driven image restoration neural networks, which are capable of not only removing noise in images but also preserving their semantic-aware details, making them suitable for various high-level computer vision tasks as the pre-processing step. However, such approaches require extra annotations for their high-level vision tasks, in order to train the joint pipeline using hybrid losses. The availability of those annotations is yet often limited to a few image sets, potentially restricting the general applicability of these methods to denoising more unseen and unannotated images. Motivated by that, we propose a segmentation-aware image denoising model dubbed U-SAID, based on a novel unsupervised approach with a pixel-wise uncertainty loss. U-SAID does not need any ground-truth segmentation map, and thus can be applied to any image dataset. It generates denoised images with comparable or even better quality, and the denoised results show stronger robustness for subsequent semantic segmentation tasks, when compared to either its supervised counterpart or classical "application-agnostic" denoisers. Moreover, we demonstrate the superior generalizability of U-SAID in three-folds, by plugging its "universal" denoiser without fine-tuning: (1) denoising unseen types of images; (2) denoising as pre-processing for segmenting unseen noisy images; and (3) denoising for unseen high-level tasks. Extensive experiments demonstrate the effectiveness, robustness and generalizability of the proposed U-SAID over various popular image sets.

연구 동기 및 목표

• 기존의 응용 중심 노이즈 제거 모델이 훈련을 위해 비용이 많이 드는 참조 분할 맵을 필요로 하는 한계를 해결하기 위해.
• 세부 조정 없이도 새로운 이미지 유형, 데이터셋, 고수준 비전 작업으로의 일반화가 가능한 보편적인 노이즈 제거 모델을 개발하기 위해.
• 지도 학습 기반의 세분화 감시 없이도 노이즈 제거의 강건성과 의미 정보 보존 능력을 향상시키기 위해.
• 최소한의 재학습으로 다양한 고수준 비전 파ipeline에 즉시 통합 가능한 노이즈 제거 모듈을 제공하기 위해.

제안 방법

• 노이즈 제거 특징 공간 내 픽셀 단위의 불확실성에 기반한 새로운 비지도 손실을 제안하여 암묵적으로 분할 인식 능력을 유도한다.
• 분할 맵이 전혀 없는 노이즈 이미지만을 사용하여 훈련하며, 불확실성 최소화를 통한 자기지도 학습을 활용한다.
• 표준 노이즈 제거 목표(예: L2 손실)와 불확실성 손실을 결합하여 이미지의 정확성과 의미 분류 능력을 동시에 최적화한다.
• 사전 학습된 의미 분할 헤드를 사용해 노이즈 제거 출력에서 특징을 추출하고, 이를 바탕으로 불확실성 손실을 계산한다.
• 노이즈 제거 모델과 불확실성 손실이 동시에 최적화되는 이중 브런치 네트워크 아키텍처를 사용한다.
• 학습된 U-SAID 모델을 후속 작업에 즉시 통합 가능한 플러그인 프리프로세서로 사용하며, 추가적인 미세 조정 없이도 기능한다.

실험 결과

연구 질문

• RQ1 참조 분할 맵이 전혀 없이도 분할 인식 노이즈 제거 모델을 훈련시킬 수 있는가?
• RQ2 제안된 비지도 불확실성 손실이 감독 없이도 의미 인식 특징 학습을 효과적으로 유도하는가?
• RQ3 U-SAID는 지도 학습 또는 응용 무관 기반 모델 대비 새로운 이미지 도메인, 데이터셋, 고수준 비전 작업으로의 일반화 능력이 어떻게 되는가?
• RQ4 U-SAID는 지도 학습 대비 모델과 유사한 성능을 달성하면서도 강건성과 보편성을 유지할 수 있는가?

주요 결과

• PASCAL VOC 분할 작업에서 U-SAID는 평균 mIoU 40.35%를 기록했으며, CDnCNN-B(유의미도 p-value = 1.7305×10⁻⁹)보다 통계적으로 유의미하게 높고, 지도 학습 기반 S-SAID와 유사한 성능을 보였다.
• KODAK 데이터셋에서 U-SAID는 NIQE 2.62를 기록했으며, CDnCNN-B(유의미도 p-value = 2.6638×10⁻¹⁶)보다 통계적으로 유의미하게 우수했다.
• CIFAR-100 분류 작업에서 U-SAID는 상위-1 정확도 58.47%를 달성했으며, CDnCNN-B(56.89%, p-value = 3.6147×10⁻¹⁴)와 S-SAID(57.82%, p-value = 1.3486×10⁻⁶)를 모두 뛰어넘었다.
• MS COCO 객체 검출 작업에서 U-SAID는 σ=35일 때 mAP를 0.5330 향상시켰으며, CDnCNN-B와 S-SAID를 모두 능가하여 새로운 검출 작업으로의 강력한 일반화 능력을 입증했다.
• U-SAID는 세 가지 테스트 시나리오에서 뛰어난 일반화 능력을 보였다: 새로운 이미지 유형, 새로운 노이즈 데이터셋, 새로운 고수준 작업 모두에서 미세 조정 없이도 성능이 유지되었다.
• 통계적 유의성 검정을 통해 U-SAID의 성능 향상이 다양한 벤치마크와 노이즈 패턴에서 일관되고 의미 있는 것으로 확인되었다.