[논문 리뷰] Learning Dual Convolutional Neural Networks for Low-Level Vision

Jinshan Pan, Sifei Liu외 9명|arXiv (Cornell University)|2018. 05. 14.

Image Enhancement Techniques참고 문헌 30인용 수 26

한 줄 요약

이 논문은 저수준 시각 작업을 위한 이중 구조 학습을 동시에 수행하는 이중 분지 컨볼루션 신경망인 DualCNN을 제안한다. 두 개의 병렬 분지로 구조와 세부 정보 추정을 분리함으로써, 초해상도, 비오염 제거, 안개 제거, 에지 보존 필터링 등 다양한 벤치마크에서 최신 기술을 능가하는 일관된 성능 향상을 달성한다.

ABSTRACT

In this paper, we propose a general dual convolutional neural network (DualCNN) for low-level vision problems, e.g., super-resolution, edge-preserving filtering, deraining and dehazing. These problems usually involve the estimation of two components of the target signals: structures and details. Motivated by this, our proposed DualCNN consists of two parallel branches, which respectively recovers the structures and details in an end-to-end manner. The recovered structures and details can generate the target signals according to the formation model for each particular application. The DualCNN is a flexible framework for low-level vision tasks and can be easily incorporated into existing CNNs. Experimental results show that the DualCNN can be effectively applied to numerous low-level vision tasks with favorable performance against the state-of-the-art methods.

연구 동기 및 목표

• 이상화된 업샘플링에서 발생하는 구조 오류를 복구할 수 없는 잔차 학습의 한계를 해결한다.
• 단일 네트워크로 저주파 구조와 고주파 세부 정보를 동시에 학습하는 과제를 극복한다.
• 작업에 맞는 아키텍처 재설계 없이도 다양한 저수준 시각 작업에 적용 가능한 유연하고 종단 간 훈련 가능한 프레임워크를 개발한다.
• 구조와 세부 정보 분해를 명시적으로 모델링하여 초해상도, 비오염 제거, 안ogue 제거, 필터링 성능을 향상시킨다.
• 초기 구조가 완벽하지 않을 경우, 잔차 학습보다 이중 구조 및 세부 정보 학습이 더 나은 성능을 내는지 입증한다.

제안 방법

• 구조 추정을 위한 얕은 하위 네트워크(Net-S)와 세부 정보 추정을 위한 깊은 하위 네트워크(Net-D)를 갖춘 이중 분지 CNN 아키텍처를 제안한다.
• 구조(ℒs)와 세부 정보(ℒd) 성분에 대해 별도의 정규화 항을 포함하는 병합 손실 함수를 사용해 양 분지를 종단 간 훈련한다.
• 각 작업에 맞는 형성 모델을 사용해 최종 출력을 복구된 구조 및 세부 정보 성분의 합으로 재구성한다.
• Net-S와 Net-D에서 서로 다른 네트워크 아키텍처를 허용함으로써 아키텍처의 유연성을 확보한다. 예를 들어 Net-S와 Net-D에 각각 SRCNN 또는 VDSR을 사용할 수 있다.
• 먼저 구조를 추정하고, 그 다음 세부 정보를 보정하는 계단식 변형을 탐색하지만, 병렬 이중 분지 설계가 더 우수한 성능을 보인다.
• 작업에 맞는 형성 모델을 사용해 초해상도, 비오염 제거, 안ogue 제거, 에지 보존 필터링 등 다양한 작업에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 구조와 세부 정보 학습을 분리하는 이중 분지 CNN 아키텍처가 저수준 시각 작업에서 표준 잔차 학습보다 우수한 성능을 낼 수 있는가?
• RQ2 초기 구조(예: 이방형 업샘플링에서 유도된 것)에 저주파 오류가 포함되어 있을 경우, 구조와 세부 정보를 동시에 추정하는 것이 성능 향상에 기여하는가?
• RQ3 두 분지에서의 네트워크 아키텍처 선택이 성능에 미치는 영향은 어떠한가? 특히 한 분지는 얕고 다른 한 분지는 깊은 경우에 대해 설명한다.
• RQ4 DualCNN 프레임워크는 아키텍처 재설계 없이도 다양한 저수준 시각 작업에 효과적으로 적용될 수 있는가?
• RQ5 구조와 세부 정보에 대해 별도의 정규화를 포함하는 이중 조합 손실 함수가 최종 성능에 미치는 영향은 어떠한가?

주요 결과

• DualCNN는 초해상도 작업에서 최신 기술 성능을 달성했으며, ×4 업스케일링에서 Set5에서 PSNR 30.3690을 기록하여 SRCNN(30.1496)과 VDSR을 능가했다.
• 비오염 제거 작업에서, 합성 비 오랜 데이터셋에서 DualCNN은 PSNR 24.11을 기록했으며, 두 분지가 동일한 경우 SDCNN-S(22.42)와 SDCNN-D(23.58)를 모두 초월했다.
• 별도의 정규화 손실 ℒs와 ℒd를 추가함으로써 안ogue 제거 성능이 향상되었으며, 평균 PSNR는 21.13에서 26.43으로, SSIM은 0.7449에서 0.9108로 상승했다.
• 병렬 이중 분지 설계는 SRCNN 및 VDSR과 유사한 수렴 속도를 보였으며, 두 분지가 존재하더라도 훈련의 안정성 문제가 없음을 시사한다.
• 계단식 아키텍처(먼저 구조 추정, 그 다음 세부 정보 보정)는 병렬 DualCNN보다 열등한 성능을 보였으며, 이는 공동 학습의 이점이 확인됨을 의미한다.
• 두 분지가 동일한 아키텍처(예: SRCNN)를 사용할 경우에도 DualCNN은 단일 분지 버전을 능가했으며, 이는 동일한 구성 요소를 사용하더라도 이중 경로 학습의 이점이 있음을 시사한다.