[논문 리뷰] AdaDM: Enabling Normalization for Image Super-Resolution

Jie Liu, Jie Tang외 1명|arXiv (Cornell University)|2021. 11. 27.

Advanced Image Processing Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 배치 정규화(BN)가 픽셀 변동성을 감소시켜 에 bord를 흐리게 만들기 때문에 이미지 초해상도(SR) 네트워크에서 성능 저하를 초래할 수 있다는 점을 고려해, 특징 표준편차를 적응적으로 증폭함으로써 BN의 사용을 가능하게 하는 새로운 적응형 편차 조절기(AdaDM)를 제안한다. AdaDM를 통해 EDSR*, RDN*, NLSN*과 같은 최신 SR 모델들은 도메인 간 유의미한 PSNR 향상(예: Urban100 ×4에서 +0.15–0.30 dB)을 달성하면서도, BN의 학습 안정성과 일반화 능력을 그대로 활용할 수 있다.

ABSTRACT

Normalization like Batch Normalization (BN) is a milestone technique to normalize the distributions of intermediate layers in deep learning, enabling faster training and better generalization accuracy. However, in fidelity image Super-Resolution (SR), it is believed that normalization layers get rid of range flexibility by normalizing the features and they are simply removed from modern SR networks. In this paper, we study this phenomenon quantitatively and qualitatively. We found that the standard deviation of the residual feature shrinks a lot after normalization layers, which causes the performance degradation in SR networks. Standard deviation reflects the amount of variation of pixel values. When the variation becomes smaller, the edges will become less discriminative for the network to resolve. To address this problem, we propose an Adaptive Deviation Modulator (AdaDM), in which a modulation factor is adaptively predicted to amplify the pixel deviation. For better generalization performance, we apply BN in state-of-the-art SR networks with the proposed AdaDM. Meanwhile, the deviation amplification strategy in AdaDM makes the edge information in the feature more distinguishable. As a consequence, SR networks with BN and our AdaDM can get substantial performance improvements on benchmark datasets. Extensive experiments have been conducted to show the effectiveness of our method.

연구 동기 및 목표

• 배치 정규화(BN)가 다른 비전 작업에서는 유용함에도 불구하고 이미지 초해상도 네트워크에서 성능 저하를 초래하는 이유를 조사하는 것.
• BN이 특징 표준편차를 감소시켜 가장자리의 구분 능력을 떨어뜨리고 재구성 결과를 더 흐리게 만드는 문제를 해결하는 것.
• BN의 학습 이점을 유지하면서도 유용한 픽셀 변동성을 복원할 수 있는 메커니즘을 개발하는 것.
• 특히 고품질 설정에서 성능 손실 없이 깊은 SR 네트워크에 BN을 사용할 수 있도록 하는 것.
• BN + AdaDM이 여러 최신 초해상도 아키텍처에서 일반화 능력과 성능을 향상시킬 수 있음을 입증하는 것.

제안 방법

• BN 후에 잔차 특징의 표준편차를 증폭시키는 스케일링 인자를 예측하는 학습 가능한 조절 모듈인 AdaDM을 제안한다.
• EDSR, RDN, NLSN의 잔차 블록에 BN 레이어 다음에 AdaDM을 통합하여 EDSR*, RDN*, NLSN*을 구성한다.
• AdaDM에서 학습 가능한 애핀 변환을 사용하여 특징맵의 표준편차를 적응적으로 스케일링함으로써 가장자리 정보를 유지한다.
• 표준 최적화 프로토콜을 사용하여 모델을 학습시키며, BN을 통해 빠른 수렴과 더 나은 일반화를 활용한다.
• 특히 도전적인 벤치마크에서 성능을 추가로 향상시키기 위해 자기-앙상블 추론을 적용한다.
• DIV2K 및 DF2K 데이터셋에서 학습 및 평가하여 모델의 강인성과 확장성 평가.

실험 결과

연구 질문

• RQ1 배치 정규화(BN)가 다른 비전 작업에서는 유용함에도 불구하고 이미지 초해상도 네트워크에서 성능 저하를 초래하는 이유는 무엇인가?
• RQ2 BN은 잔차 특징의 표준편차에 어떤 영향을 미치며, 이는 가장자리 재구성에 어떤 영향을 미치는가?
• RQ3 정규화를 제거하지 않고도 BN이 특징 변동성에 미치는 부정적 영향을 역전시킬 수 있는가?
• RQ4 학습 가능한 조절 메커니즘이 BN의 학습 이점을 유지하면서도 구분 가능한 가장자리 특징을 복원할 수 있는가?
• RQ5 제안된 AdaDM는 깊고 고품질의 초해상도 네트워크에서 BN의 성능 향상 기능을 가능하게 하는가?

주요 결과

• BN과 AdaDM를 적용한 EDSR*는 Urban100 ×4에서 33.83 dB의 PSNR를 기록하여 원본 EDSR 대비 +0.30 dB 향상.
• AdaDM를 적용한 RDN*과 NLSN*는 모든 벤치마크에서 일관된 PSNR 향상을 보이며, NLSN*는 자기-앙상블을 사용해 Set5 ×2에서 38.50/0.9624 PSNR/SSIM 기록.
• DF2K 데이터셋에서 학습한 NLSN* 모델은 Set5 ×3에서 35.04/0.9322 PSNR/SSIM 기록을 달성하여 원본 NLSN를 초월하고 SwinIR 성능과 동등.
• AdaDM는 입력 RGB 범위의 변화에 대해 BN의 강인성을 향상시켜, EDSR*가 다양한 입력 분포에서도 일관된 성능 유지.
• 시각적 결과에서는 AdaDM이 특히 털, 천 등 복잡한 영역에서 가장자리 선명도와 질감 세부 정보를 크게 향상시킴.
• Transformer 기반 모델인 SwinIR+는 NLSN*+와 유사한 성능 기록하여, AdaDM가 CNN 기반 모델이 최신 Transformer 모델에 맞먹는 성능을 달성할 수 있도록 함.