[논문 리뷰] Wide Activation for Efficient and Accurate Image Super-Resolution

Jiahui Yu, Yuchen Fan외 5명|arXiv (Cornell University)|2018. 08. 27.

Advanced Image Processing Techniques참고 문헌 8인용 수 324

한 줄 요약

본 논문은 SR 잔차 블록(WDSR-A 및 WDSR-B)에서 ReLU 이전에 피처 채널을 확장하는 것이 동일한 매개변수/계산 예산에서 더 나은 정확도를 얻으며, 선형 저랭크 합성곱이 더 넓은 활성화를 가능하게 하고 가중치 정규화가 배치/normless 설정보다 우수한 성능을 보임을 시사한다.

ABSTRACT

In this report we demonstrate that with same parameters and computational budgets, models with wider features before ReLU activation have significantly better performance for single image super-resolution (SISR). The resulted SR residual network has a slim identity mapping pathway with wider (\(2 imes\) to \(4 imes\)) channels before activation in each residual block. To further widen activation (\(6 imes\) to \(9 imes\)) without computational overhead, we introduce linear low-rank convolution into SR networks and achieve even better accuracy-efficiency tradeoffs. In addition, compared with batch normalization or no normalization, we find training with weight normalization leads to better accuracy for deep super-resolution networks. Our proposed SR network extit{WDSR} achieves better results on large-scale DIV2K image super-resolution benchmark in terms of PSNR with same or lower computational complexity. Based on WDSR, our method also won 1st places in NTIRE 2018 Challenge on Single Image Super-Resolution in all three realistic tracks. Experiments and ablation studies support the importance of wide activation for image super-resolution. Code is released at: https://github.com/JiahuiYu/wdsr_ntire2018

연구 동기 및 목표

• ReLU 이전에 더 넓어진 활성화가 SR 성능을 추가 매개변수나 FLOPs 없이 향상시킴을 입증한다.
• 더 나은 정확도-효율성을 위해 WDSR-A(넓은 활성화) 및 WDSR-B(선형 저랭크 합성곱으로 넓어진 활성화) 제안.
• 가중치 정규화가 배치 정규화나 정규화 없음보다 더 빠른 수렴과 더 나은 정확도를 제공함을 보여준다.
• DIV2K에서 평가하고 트랙 전반에서 강력한 결과와 NTIRE 2018 우승을 달성한다.

제안 방법

• SR 잔차 블록 내에서 ReLU 이전에 특징을 확장하여 더 넓은 활성화를 도입한다.
• 전/ 활성화 너비를 증가시키되 항등 매핑 경로의 폭은 유지하여 WDSR-A를 만든다.
• 추가 비용 없이 활성화를 더 넓히기 위해 선형 저랭크 합성곱을 사용한 WDSR-B를 개발한다.
• 폭의 효과를 고립시키기 위해 동일한 매개변수/계산 예산에서 EDSR과 비교한다.
• 딥 SR 네트워크 훈련에서 배치 정규화보다 가중치 정규화를 옹호하고 더 빠른 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 매개변수 및 계산 예산에서 SR 잔차 블록의 ReLU 이전에 특징을 확장하는 것이 정확도를 향상시키는가?
• RQ2 선형 저랭크 합성곱을 사용한 활성화 확장 시 효율성을 유지하거나 개선할 수 있는가?
• RQ3 딥 SR 네트워크 훈련에 있어 가중치 정규화가 배치 정규화보다 더 적합한가?
• RQ4 표준 SR 벤치마크(예: DIV2K)에서 WDSR-A 및 WDSR-B가 EDSR와 같은 기준선에 비해 어떤 이점을 달성하는가?

주요 결과

• WDSR-A (2x–4x wider activation) improves DIV2K val PSNR over EDSR at the same budget.
• WDSR-B (6x–9x wider activation) uses linear low-rank convolutions to widen activation with no extra parameters or FLOPs and yields further gains.
• On DIV2K, WDSR variants achieve higher PSNR than the corresponding EDSR baselines at equivalent parameter counts (example results show 33.210 vs. 33.434 PSNR for EDSR and WDSR-B in the 1-residual-block setting).
• Weight normalization accelerates convergence and improves accuracy, while batch normalization leads to instability during testing in SR tasks.