[논문 리뷰] Connecting Image Denoising and High-Level Vision Tasks via Deep Learning

Ding Liu, Bihan Wen외 4명|arXiv (Cornell University)|2018. 09. 06.

Image and Signal Denoising Methods참고 문헌 44인용 수 20

한 줄 요약

이 논문은 분류 및 세분화 네트워크로부터의 의미적 가이던스를 활용하여 이미지 디노이징과 고수준 비전 작업을 연결하는 공동 딥러닝 프레임워크를 제안한다. 디노이저를 통해만 역전파가 이루어지는 공동 손실을 사용하여 캐스케이드 네트워크를 훈련함으로써, 다양한 노이즈 수준에서 최신 기술 수준의 디노이징 성능을 달성하고, 미세조정 없이도 다양한 고수준 작업 간의 일반화를 유지하면서 분류 및 세분화 정확도를 향상시킨다.

ABSTRACT

Image denoising and high-level vision tasks are usually handled independently in the conventional practice of computer vision, and their connection is fragile. In this paper, we cope with the two jointly and explore the mutual influence between them with the focus on two questions, namely (1) how image denoising can help improving high-level vision tasks, and (2) how the semantic information from high-level vision tasks can be used to guide image denoising. First for image denoising we propose a convolutional neural network in which convolutions are conducted in various spatial resolutions via downsampling and upsampling operations in order to fuse and exploit contextual information on different scales. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We experimentally show that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network produces more visually appealing results. Extensive experiments demonstrate the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online: https://github.com/Ding-Liu/DeepDenoising

연구 동기 및 목표

• 저수준 이미지 디노이징과 분류 및 의미적 세분화와 같은 고수준 비전 작업 간 상호 영향을 조사한다.
• 기존 디노이징 방법이 이미지 세부 정보를 떨어뜨리고 아티팩트를 유발하는 한계를 해결한다. 특히 고수준 작업의 사전처리로 사용될 경우에 특히 그렇다.
• 고수준 작업 감시를 활용하여 의미 인식 특징을 유지하는 디노이저를 개발함으로써, 시각적 품질과 작업 성능을 모두 향상시킨다.
• 재학습이나 미세조정 없이도 다양한 고수준 비전 작업 간 일반화할 수 있도록 디노이저를 가능하게 한다.

제안 방법

• 스패티얼 해상도 간 특징을 융합하기 위해 다중 척도 컨볼루션 신경망을 사용한 이미지 디노이징을 제안하며, U-Net 아키텍처를 영감으로 삼는다.
• 디노이징 모듈이 고수준 비전 네트워크(예: 분류용 VGG, 세분화용 FCN)와 연결된 캐스케이드 네트워크를 설계한다.
• 이미지 복원(MSE), 인지 손실(특징 수준), 고수준 작업 손실(예: 분류용 교차 엔트로피, 세분화용 IoU)을 포함하는 공동 훈련 전략을 구현한다.
• 기울기 역전파를 디노이저 네트워크로만 수행하여 고수준 네트워크를 고정함으로써 작업 특화 특징을 유지하고 일반화를 보장한다.
• 다양한 고수준 작업(예: 세분화로 훈련, 분류로 배포)에 동일한 디노이저를 사용하여 교차 작업 전이 가능성을 입증한다.
• 합성 가우시안 노이즈(BSD100, DIV2K)와 실제 노이즈(DND 데이터셋)에서 성능을 검증하며, CBM3D 및 DnCNN과 비교한다.

실험 결과

연구 질문

• RQ1 고수준 의미 정보는 이미지 디노이징의 품질과 강건성에 어떻게 기여할 수 있는가?
• RQ2 의미적 가이던스로 훈련된 디노이저는 미세조정 없이도 다양한 고수준 비전 작업 간 일반화할 수 있는가?
• RQ3 디노이징과 고수준 작업을 공동으로 훈련시키는 것이 독립적 처리보다 저수준 및 고수준 작업 양쪽에서 더 나은 성능을 내는가?
• RQ4 기존의 디노이징 기법(예: CBM3D)이 사전처리로 사용될 경우 고수준 비전 성능에 어떤 영향을 미치는가?
• RQ5 공동 손실로 훈련된 데이터 기반 디노이저는 합성 가우시안 노이즈 외의 실제 세계 노이즈에도 일반화 가능한가?

주요 결과

• 제안된 공동 훈련 방법은 벤치마크 데이터셋에서 최신 기술 수준의 디노이징 성능을 달성하여, PSNR와 시각적 품질 모두에서 CBM3D 및 DnCNN을 능가한다.
• σ=15일 때 ImageNet 검증 세트에서 Joint Training 방법은 분류 작업에 대해 60.41%의 top-1 정확도를 기록했으며, 베이스라인 VGG(56.78%)와 별도의 디노이징 베이스라인(55.29%)을 크게 앞서 간다.
• σ=30일 때 PASCAL VOC2012에서의 의미적 세분화 작업에서 Joint Training 방법은 평균 IoU 56.30을 달성했으며, 별도의 디노이징 베이스라인(54.13)과 베이스라인 VGG(43.43)를 모두 뛰어넘었다.
• 세분화로 훈련된 디노이저를 분류 작업에 사용하는 Joint Training(Cross-Task) 접근법은 60.47%의 top-1 정확도를 기록했으며, 분류 작업 전용으로 훈련된 모델과 유사한 성능을 보였다.
• 실제 노이즈가 포함된 DND 데이터셋에서 제안된 방법은 CBM3D 및 DnCNN보다 더 많은 에지와 고주파 수치를 유지했으며, 과도하게 매끄럽게 만드는 아티팩트를 유발하지 않았다.
• 공동 손실로 훈련된 디노이저는 작업 간 일반화가 가능하다: 세분화에서 훈련된 디노이저가 분류 작업으로 이식되어도 미세조정 없이도 높은 성능을 유지함으로써, 강력한 교차 작업 적용 가능성을 입증했다.