[논문 리뷰] When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach

Ding Liu, Bihan Wen외 3명|arXiv (Cornell University)|2017. 06. 14.

Image and Signal Denoising Methods참고 문헌 33인용 수 25

한 줄 요약

이 논문은 이미지 복소화와 고수준 비전 작업(예: 분류 및 세그멘테이션)을 동시에 최적화하는 공동 딥러닝 프레임워크를 제안한다. 이는 복소화 네트워크를 고수준 네트워크와 연결하고, 공동 손실을 사용하여 훈련함으로써 달성된다. 이 방법은 의미 피드백을 활용하여 복소화 품질과 후속 작업 정확도를 향상시키며, 태스크별 미세조정 없이 다양한 고수준 작업에 일반화되는 훈련된 복소화기( denoiser)를 제공한다.

ABSTRACT

Conventionally, image denoising and high-level vision tasks are handled separately in computer vision. In this paper, we cope with the two jointly and explore the mutual influence between them. First we propose a convolutional neural network for image denoising which achieves the state-of-the-art performance. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We demonstrate that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network can generate more visually appealing results. To the best of our knowledge, this is the first work investigating the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online https://github.com/Ding-Liu/DeepDenoising.

연구 동기 및 목표

• 저수준의 이미지 복소화와 고수준 비전 작업 사이의 격차를 해소하기 위해 상호 영향을 탐색한다.
• 기존 파ip라인의 한계를 해결하기 위해 복소화와 고수준 작업을 별도의 단계로 간주하는 것에서 비롯되는 성능 저하 문제를 해결한다.
• 태스크별 미세조정 없이도 여러 고수준 비전 작업에 일반화되는 복소화기를 개발한다.
• 복소화 과정에 고수준 의미 피드백을 통합하여 시각적 품질과 의미 정확도를 향상시킨다.
• 공동 훈련이 독립적 또는 순차적 처리보다 복소화 성능과 고수준 작업 정확도를 모두 향상시킨다는 것을 입증한다.

제안 방법

• 입력 세부 정보를 유지하기 위해 스킵 연결을 갖춘 U-Net 유사 컨볼루션 신경망을 이미지 복소화에 제안한다.
• 복소화 네트워크가 고수준 비전 네트워크(예: 분류 또는 세그멘테이션용)와 연결된 캐스케이드 아키텍처를 설계한다.
• 이미지 복원 손실(MSE)과 고수준 작업 손실(예: 분류용 교차 엔트로피 또는 세그멘테이션용 IoU)을 조합한 공동 손실 함수를 사용한다.
• 공동 손실을 복소화 네트워크를 통해만 역전파하며, 훈련 중 고수준 네트워크 가중치는 고정한다.
• 고수준 작업의 의미 지침을 활용하여 더 시각적으로 타당하고 의미적으로 일관된 출력을 생성하도록 복소화 네트워크를 훈련한다.
• 다른 고수준 작업(예: 세그멘테이션으로 훈련하고 분류로 테스트)으로 전이하여 복소화기의 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 고수준 의미 정보는 이미지 복소화 결과의 시각적 품질과 인지적 충실도를 향상시킬 수 있는가?
• RQ2 복소화와 고수준 비전 작업을 공동으로 훈련하면 순차적 또는 독립적 처리보다 두 작업 모두에서 더 나은 성능을 내는가?
• RQ3 한 고수준 작업에 대해 공동으로 훈련된 복소화기를 태스크별 미세조정 없이 다른 고수준 작업에 효과적으로 재사용할 수 있는가?
• RQ4 공동 훈련 전략은 기존 복소화기(예: CBM3D)가 후속 비전 작업에서 유도하는 잡음의 잔여물(artifacts)을 어떻게 완화하는가?
• RQ5 의미 피드백은 노이즈가 있는 입력에 적용되었을 때 고수준 비전 모델의 강인성과 정확도를 어느 정도 향상시키는가?

주요 결과

• 제안된 공동 훈련 프레임워크는 기존의 고전적 방법(예: CBM3D)과 별도로 훈련된 딥 복소화기보다 최신 기술 수준의 성능을 달성한다.
• ImageNet 검증 세트에서 σ=60일 때 공동 훈련 방법은 87.2%의 top-1 정확도를 기록했으며, 베이스라인 VGG(11.4%)와 Separate+VGG(50.1%)를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• Pascal VOC 2012에서의 세그멘테이션 작업에서 공동 훈련 방법은 σ=60일 때 52.02%의 mIoU를 달성했으며, 별도 복소화 베이스라인(46.59%)을 초월했고, 다양한 노이즈 수준에서도 강인성을 보였다.
• 한 고수준 작업과 공동 훈련된 복소화기는 다른 작업으로도 효과적으로 일반화된다: 세그멘테이션에서 훈련한 복소화기를 분류 작업으로 전이했을 때 62.0%의 top-1 정확도를 기록했으며, Separate+VGG의 57.0%보다 높게 나타나 강력한 전이 가능성(transferability)을 입증했다.
• 시각적 비교 결과, 공동 방법은 CBM3D와 별도로 훈련된 복소화기보다 과도한 평탄화 잡음(over-smoothing artifacts)을 줄이고 더 의미적으로 정확하며 시각적으로 매력적인 복소화 출력을 생성하는 것으로 나타났다.
• 절단 실험(Ablation study)은 의미 피드백이 복소화 품질과 후속 작업 정확도를 크게 향상시킨다는 것을 확인하여 공동 학습 파라다임의 효과성을 입증했다.