[논문 리뷰] Super-Resolution using Convolutional Neural Networks without Any Checkerboard Artifacts

Yusuke Sugawara, Sayaka Shiota외 1명|arXiv (Cornell University)|2018. 06. 07.

Advanced Image Processing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 디컨볼루션 및 서브픽셀 컨볼루션과 같은 업샘플링 레이어를 사용하는 컨volutional 신경망(CNN)을 이용한 슈퍼레졸루션(SR) 방법에서 칸막이 무늬 아티팩트를 제거하기 위한 새로운 조건을 제안한다. 선형 다이레이트 시스템에서의 폴리페이스 필터 조건을 비선형 CNN에 확장함으로써, 모든 폴리페이스 성분이 동일한 DC 응답을 가지게 하여, 평균 제곱 오차 및 인지적 손실 상황에서도 완벽한 아티팩트 억제를 보장한다. 이는 높은 효율성과 이미지 품질을 유지하면서 이루어진다.

ABSTRACT

It is well-known that a number of excellent super-resolution (SR) methods using convolutional neural networks (CNNs) generate checkerboard artifacts. A condition to avoid the checkerboard artifacts is proposed in this paper. So far, checkerboard artifacts have been mainly studied for linear multirate systems, but the condition to avoid checkerboard artifacts can not be applied to CNNs due to the non-linearity of CNNs. We extend the avoiding condition for CNNs, and apply the proposed structure to some typical SR methods to confirm the effectiveness of the new scheme. Experiment results demonstrate that the proposed structure can perfectly avoid to generate checkerboard artifacts under two loss conditions: mean square error and perceptual loss, while keeping excellent properties that the SR methods have.

연구 동기 및 목표

• 디컨볼루션 및 서브픽셀 컨볼루션 레이어를 사용하는 CNN 기반 슈퍼레졸루션 방법에서 지속적으로 발생하는 칸막이 무늬 아티팩트 문제를 해결하기 위해.
• 이전에는 선형 다이레이트 시스템에서만 유효했던 칸막이 무늬 아티팩트 방지를 위한 이론적 조건을 비선형 CNN로 확장하기 위해.
• 기존 SR 네트워크의 성능을 유지하면서도 아티팩트를 제거할 수 있는 실용적이고 효율적이며 보편적으로 적용 가능한 방법을 개발하기 위해.
• 최신 모델에서 아티팩트를 유발하는 것으로 알려진 평균 제곱 오차 및 인지적 손실 하에서 방법의 유효성을 검증하기 위해.

제안 방법

• 업샘플링 레이어의 모든 폴리페이스 성분이 동일한 DC 응답을 가지도록 보장함으로써, 선형 시스템에서의 폴리페이스 필터 조건 $ R_1(1) = R_2(1) = \cdots = R_U(1) = G $ 을 비선형 CNN에 확장한다.
• 디컨볼루션 및 서브픽셀 컨볼루션 레이어에 이 조건을 적용하기 위해 필터 초기화 또는 구조를 수정하여 모든 폴리페이스 성분 간에 균일한 DC 이득을 확보한다.
• 조건 적용을 위한 두 가지 접근법(A/B 및 C)을 도입: 하나는 학습된 $ H_0(z) $ 필터를 사용하고, 다른 하나는 고정된 $ H_0(z) $ 를 사용하며, 모두 $ H(z) = P(z)H_0(z) $ 와 $ H_0(z) = \sum_{i=0}^{U-1} z^{-i} $ 를 만족시킨다.
• 업샘플링 레이어가 확장된 조건을 만족하도록 수정된 네트워크 아키텍처를 사용하여, 시간에 따라 변하는 행동을 방지함으로써 칸막이 무늬 패턴을 유발하는 원인을 제거한다.
• 표준 트레이닝을 수행하며 Adam 옵티마이저와 함께 평균 제곱 오차 및 인지적 손실(VGG-16 특징을 통한)을 사용하여 강인성과 시각적 품질을 평가한다.
• 표준 데이터셋(Set14, DIV2K)을 사용하여 $ 72\times72 $ HR 및 $ 18\times18 $ LR 패치, $ U=4 $ 조건 하에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 선형 다이레이트 시스템에서의 칸막이 무늬 아티팩트 방지 이론적 조건을 업샘플링 레이어를 갖는 비선형 CNN로 확장할 수 있는가?
• RQ2 업샘플링 레이어의 모든 폴리페이스 성분에 동일한 DC 응답을 강제로 적용함으로써 CNN 기반 SR 네트워크에서 칸막이 무늬 아티팩트를 제거할 수 있는가?
• RQ3 제안된 방법이 최신 모델에서 아티팩트를 유발하는 것으로 알려진 평균 제곱 오차 및 인지적 손실 하에서도 아티팩트를 억제할 수 있는가?
• RQ4 기존의 아티팩트 제거 기법 대비 제안된 방법이 높은 이미지 품질과 계산 효율성을 유지하는가?
• RQ5 이 방법은 디컨볼루션 및 서브픽셀 컨볼루션 기반 SR 네트워크 모두에 적용 가능하고 효과적인가?

주요 결과

• 제안된 방법은 평균 제곱 오차 및 인지적 손실 조건 하에서 디컨볼루션 및 서브픽셀 컨볼루션 기반 SR 네트워크에서 모두 칸막이 무늬 아티팩트를 성공적으로 제거한다.
• 학습된 $ H_0 $ 를 사용하는 접근법 B 및 C는 인지적 손실 조건 하에서도 시각적 품질과 아티팩트 억제에서 접근법 A를 뛰어넘는 성능을 보이며, 일반적으로 아티팩트를 악화시키는 경향이 있는 인지적 손실 조건에서도 유의미한 개선을 이룬다.
• 후처리 기법을 사용하지 않음에도 불구하고, 시각적 비교에서 인지적 품질과 선명도가 향상되어 높은 이미지 품질을 유지하고 있음을 입증한다.
• 제안된 아키텍처(Deconv+H₀ 및 Sub-pixel+H₀)의 실행 시간은 리사이즈 컨볼루션 대비 현저히 낮으며, $ 128\times128 $ 입력 기준 0.0295초 대비 0.299초로 계산 효율성이 뛰어나다.
• 다양한 입력 해상도 및 데이터셋에서 일관된 아티팩트 억제를 보이며, PSNR나 인지적 품질에 떨어짐이 없이 안정적인 성능을 유지한다.
• 리사이즈 컨볼루션 기반 대안과 달리, 높은 메모리나 계산 오버헤드 없이 효율적이고 아티팩트 없는 SR을 가능하게 한다.