[논문 리뷰] Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

Xing Liu, Masanori Suganuma외 2명|arXiv (Cornell University)|2019. 03. 21.

Advanced Image Processing Techniques참고 문헌 58인용 수 17

한 줄 요약

이 논문은 잔차 네트워크의 서로 다른 블록 간에 쌍으로 이루어진 연산(예: 업샘플링/다운샘플링 또는 큰/작은 커널 컨벌루션) 간의 상호작용을 가능하게 하는 새로운 '이중 잔차 연결' 메커니즘을 갖춘 이중 잔차 네트워크(DuRN)를 제안한다. 두 개의 구성 가능한 연산 컨테이너를 갖는 모듈러 이중 잔차 블록(DuRB)을 사용함으로써, 더 넓은 범위의 은닉 경로를 활용하여, 적대적 훈련이나 반복 구조 없이도 아홉 개의 데이터셋에서 다섯 가지 이미지 복원 작업 전반에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

In this paper, we study design of deep neural networks for tasks of image restoration. We propose a novel style of residual connections dubbed "dual residual connection", which exploits the potential of paired operations, e.g., up- and down-sampling or convolution with large- and small-size kernels. We design a modular block implementing this connection style; it is equipped with two containers to which arbitrary paired operations are inserted. Adopting the "unraveled" view of the residual networks proposed by Veit et al., we point out that a stack of the proposed modular blocks allows the first operation in a block interact with the second operation in any subsequent blocks. Specifying the two operations in each of the stacked blocks, we build a complete network for each individual task of image restoration. We experimentally evaluate the proposed approach on five image restoration tasks using nine datasets. The results show that the proposed networks with properly chosen paired operations outperform previous methods on almost all of the tasks and datasets.

연구 동기 및 목표

• 업샘플링/다운샘플링 또는 큰/작은 커널 컨벌루션과 같은 쌍으로 이루어진 연산의 잠재적 잠재력을 활용하여 이미지 복원을 위한 딥 네트워크 아키텍처를 향상시키는 것.
• 서로 다른 블록 간의 쌍으로 이루어진 연산 간 상호작용을 가능하게 하는 새로운 잔차 연결 방식을 설계하여, 잔차 네트워크 내 은닉 경로의 다양성을 증가시키는 것.
• 임의의 쌍으로 이루어진 연산을 지원하고 다양한 이미지 복원 작업에 걸쳐도 영구적으로 사용 가능한 유연한 네트워크 설계를 가능하게 하는 모듈러 빌딩 블록(DuRB)을 개발하는 것.
• 제안된 아키텍처의 효과성을 다양한 이미지 복원 벤치마크에서 실증적으로 검증하여 일관된 성능 향상을 입증하는 것.

제안 방법

• 어느 첫 번째 연산이 초기 블록에 있고, 어느 두 번째 연산이 후속 블록에 있는지에 관계없이, 어떤 첫 번째 연산도 후속 블록의 어떤 두 번째 연산과도 짝지을 수 있도록 하는 새로운 잔차 연결 방식인 '이중 잔차 연결'을 제안한다.
• 쌍으로 이루어진 연산을 삽입하기 위한 두 개의 컨테이너를 갖춘 이중 잔차 블록(DuRB)을 설계하여, 네트워크 설계의 유연성과 재사용성을 극대화한다.
• 잔차 네트워크의 '해체된' 시각(veit et al.)을 활용하여 은닉 경로를 분석하고, 이중 잔차 연결이 블록 간의 효과적인 연산 쌍의 수를 증가시킴을 보여준다.
• DuRB를 스택하고 적절한 쌍으로 이루어진 연산을 선택하여 작업별 네트워크(DuRN)를 구성한다 — 예를 들어, 비 제거 작업에는 확장 컨벌루션을, 노이즈 제거 작업에는 대칭 컨벌루션을 사용한다.
• 훈련 안정성을 유지하기 위해 적대적 또는 반복 요소를 사용하지 않고, SSIM과 L1 손실의 가중 평균을 사용한다.
• 비 제거 작업에 대한 하이브리드 설계에서, 주의 기반 국소화를 위한 DuRB-S와 수용각 확장을 위한 DuRB-P를 인코더-디코더 아키텍처에 통합한다.

실험 결과

연구 질문

• RQ1 서로 다른 블록 간의 연산 쌍 연결을 가능하게 하는 새로운 잔차 연결 방식이 이미지 복원 성능 향상에 기여하는가?
• RQ2 이중 잔차 연결이 은닉 경로의 수를 증가시킴으로써 특징 학습과 작업 성능에 어떤 영향을 미치는가?
• RQ3 두 개의 구성 가능한 연산 컨테이너를 갖는 모듈러 블록(DuRB)이 다양한 이미지 복원 작업에 일반화 가능한가?
• RQ4 제안된 아키텍처는 적대적 훈련이나 반복 모듈을 사용하지 않더라도 기존의 최신 기준(SOTA) 방법을 초월하는가?
• RQ5 다양한 복원 작업에 대해 최적의 성능을 내는 특정한 쌍으로 이루어진 연산 조합은 무엇인가?

주요 결과

• 제안된 DuRN-S-P 네트워크는 RainDrop 데이터셋의 TestSetA에서 31.24 dB PSNR와 0.9259 SSIM을 기록하여 Qian 등 [32]의 최신 기준 방법을 초월한다.
• 비 제거 작업의 DDN-Data 및 DID-MDN-Data 벤치마크에서 DuRN-S 모델은 각각 31.30 dB 및 33.21 dB의 PSNR를 기록하여 RESCAN 및 NLEDN을 포함한 이전의 최신 기준 방법을 뛰어넘는다.
• RainDrop 데이터셋의 TestSetB에서 DuRN-S-P 네트워크는 25.32 dB PSNR와 0.8173 SSIM을 기록하여 더 도전적인 테스트 샘플에 대한 강력한 일반화 능력을 입증한다.
• 아홉 개의 데이터셋에서 다섯 가지 이미지 복원 작업 — 가우시안 노이즈 제거, 운동 블러 제거, 비 줄무늬 제거, 초해상도 복원, JPEG 아티팩트 감소 — 전반에서 일관된 성능 향상을 기록한다.
• 이 아키텍처는 적대적 훈련이나 반복 네트워크를 사용하지 않음에도 불구하고 이러한 성과를 달성하여, 이중 잔차 연결 설계 자체의 효과성을 입증한다.
• 절단 분석 결과, 표준 잔차 또는 쌍 블록 설계 대비 이중 잔차 연결 메커니즘이 더 풍부한 특징 상호작용을 가능하게 하여 성능 향상을 이룬다.