[논문 리뷰] Rethinking Skip Connections: Additive U-Net for Robust and Interpretable Denoising

Vikram R Lakkavalli|arXiv (Cornell University)|2026. 01. 19.

Image and Signal Denoising Methods인용 수 0

한 줄 요약

본 논문은 Additive U-Net을 제시하여 연결(concatenative) 스킵 연결을 게이티드 합성 스킵으로 대체하고, 감소식 인코딩을 도입함으로써 해석 가능하고 교차 스케일 기여를 갖는 denoising 성능을 Kodak-17 데이터에 대해 경쟁력 있게 달성한다.

ABSTRACT

Skip connections are central to U-Net architectures for image denoising, but standard concatenation doubles channel dimensionality and obscures information flow, allowing uncontrolled noise transfer. We propose the Additive U-Net, which replaces concatenative skips with gated additive connections. Each skip pathway is scaled by a learnable non-negative scalar, offering explicit and interpretable control over encoder contributions while avoiding channel inflation. Evaluations on the Kodak-17 denoising benchmark show that Additive U-Net achieves competitive PSNR/SSIM at noise levels σ = 15, 25, 50, with robustness across kernel schedules and depths. Notably, effective denoising is achieved even without explicit down/up-sampling or forced hierarchies, as the model naturally learns a progression from high-frequency to band-pass to low-frequency features. These results position additive skips as a lightweight and interpretable alternative to concatenation, enabling both efficient design and a clearer understanding of multi-scale information transfer in reconstruction networks.

연구 동기 및 목표

• denoising 네트워크에서 스케일 간 정보 흐름을 재고하고 표준 스킵에서의 채널 확장과 잡음 누출 문제를 다룬다.
• Cross-scale 기여를 제어하는 각 스킵별 스칼라 게이트가 있는 경량화된 해석 가능한 인코더–디코더 설계를 제안한다.
• 가우시안 잡음 하에서 Kodak-17에서 경쟁력 있는 denoising 성능을 보여주고 특징 융합의 해석 가능성을 가능하게 한다.

제안 방법

• U-Net의 연결 스킵을 각 스킵이 학습 가능한 음이 아닌 계수 alpha_j에 의해 스케일되는 게이티드 합성 연결로 대체한다.
• 인코더에서 잔류 스킵 특징을 캐시하여 디코더에서 안내 융합에 활용하는 subtractive encoding을 사용한다(식(2)).
• 채널 폭을 일정하게 유지하여 채널 확장을 피하고 하다운샘플링/업샘플링을 생략한다.
• Charbonnier 손실로 학습하고 AWGN에서 sigma가 {15,25,50}인 경우 PSNR/SSIM을 평가한다.
• 커널 스케줄과 깊이(예: 3-3-3-3-3, 5-5-5-5-5, 9-7-5-3-1)를 탐색하고 DnCNN 및 의사-추가 U-Net과 같은 베이스라인과 비교한다.
• 정보 흐름의 해석을 위한 주파수 영역 분석 및 게이트 분석을 제공한다.

실험 결과

연구 질문

• RQ1 게이티드 추가 스킵 연결이 denoising 네트워크에서 해석 가능하고 제어 가능한 cross-scale 정보 흐름을 제공할 수 있는가?
• RQ2 추가 스킵이 채널 확장이나 다운/업샘플링 없이도 경쟁력 있는 denoising 성능을 제공하는가?
• RQ3 학습된 스킵 가중치가 네트워크의 깊이에 따른 주파수 지향 특징 진행과 어떻게 관계하는가?
• RQ4 Kodak-17 denoising에서 표준 베이스라인과의 매치를 유지하면서도 경량화된 해석 가능 구조를 유지할 수 있는가?
• RQ5 다른 커널 스케줄과 깊이가 additive-skip denoising 성능에 어떤 트레이드오프를 가져오는가?

주요 결과

• Additive U-Net은 소음 수준 sigma=15,25,50에서 Kodak-17에 대해 경쟁력 있는 PSNR/SSIM을 달성한다.
• 학습된 스킵 가중치는 해석 가능한 기여를 제공하며 학습된 값 근처에서 최고 성능을 보인다.
• 주파수 분석은 고주파에서 저주파 특징으로의 진행이 명시적 다중 스케일 설계 없이도 나타난다.
• 다운샘플링/업샘플링이 없는 모델은 해상도 편향 없이도 denoising 효과를 유지한다.
• 다른 커널 스케줄은 미세한 디테일 보존과 전반적 청정성 간의 트레이드오프를 보여준다.
• 실제 Additive U-Net의 정성적 결과는 DnCNN 및 의사-추가 베이스라인에 비해 가장자리가 더 선명하고 노이즈 누출이 감소한 것을 보여준다.