[논문 리뷰] Residual Non-local Attention Networks for Image Restoration

Yulun Zhang, Kunpeng Li외 3명|arXiv (Cornell University)|2019. 03. 24.

Image and Signal Denoising Methods인용 수 203

한 줄 요약

RNAN은 트렁크(trunk)와 마스크(mask) 가지를 갖춘 잔류 로컬 및 비 лок알(attention) 블록을 통해 비로컬 혼합 주의(attention) 학습과 잔류 주의 학습을 가능하게 하여 노이즈 제거, 디모자이싱, 압축 아티팩트 감소, 초해상도 전반에 걸친 이미지 복원 성능을 향상시킵니다.

ABSTRACT

In this paper, we propose a residual non-local attention network for high-quality image restoration. Without considering the uneven distribution of information in the corrupted images, previous methods are restricted by local convolutional operation and equal treatment of spatial- and channel-wise features. To address this issue, we design local and non-local attention blocks to extract features that capture the long-range dependencies between pixels and pay more attention to the challenging parts. Specifically, we design trunk branch and (non-)local mask branch in each (non-)local attention block. The trunk branch is used to extract hierarchical features. Local and non-local mask branches aim to adaptively rescale these hierarchical features with mixed attentions. The local mask branch concentrates on more local structures with convolutional operations, while non-local attention considers more about long-range dependencies in the whole feature map. Furthermore, we propose residual local and non-local attention learning to train the very deep network, which further enhance the representation ability of the network. Our proposed method can be generalized for various image restoration applications, such as image denoising, demosaicing, compression artifacts reduction, and super-resolution. Experiments demonstrate that our method obtains comparable or better results compared with recently leading methods quantitatively and visually.

연구 동기 및 목표

• 오염된 이미지에서 장거리 의존성을 포착하여 로컬 CNN과의 개선을 동기화한다.
• 잔류 로컬 및 비로컬 어텐션으로 매우 깊은 네트워크를 개발하여 복원 품질을 향상시킨다.
• 트렁크(trunk)와 마스크 분기를 통합하여 계층적 특징을 학습하고 혼합 어텐션으로 적응적으로 재스케일한다.
• 비지역(non-local) 어텐션을 도입하여 저수준 디테일을 보존하면서 전역 의존성을 활용한다.
• RNAN의 일반화가 denoise, demosaicing, compression artifact reduction, SR 등 다중 이미지 복원 작업에 걸쳐 입증된다.

제안 방법

• 잔류 블록을 통해 계층적 특징을 추출하는 트렁크 분기를 설계한다.
• 로컬 합성곱과 다운샘플링/업샘플링 또는 비지역 블럭을 통해 큰 수용 영역으로 어텐션 맵을 생성하는 마스크 분기를 구현한다.
• 마스크 분기에 비지역 블록을 도입하여 비지역 혼합 주의를 생성한다.
• 저수준 디테일의 보존을 위한 잔류 비지역 주의 학습 H_RNA(x)=H_trunk(x)H_mask(x)+x를 제안한다.
• L2 손실로 저/고품질 이미지 쌍을 학습시키고 매우 깊은 RNAB(로컬 및 비지역) 스택을 사용하여 강력한 표현력을 가능하게 한다.
• 구현 세부사항: 10 RNAN 블록, 64/32 특징 채널, ADAM 옵티마이저, 1x1 및 3x3 커널 등.

실험 결과

연구 질문

• RQ1 잔류 로컬 및 비로컬 주의가 표준 CNN 기반 접근법보다 복원 품질을 향상시킬 수 있는가?
• RQ2 마스크 분기에 비지역 혼합 주의를 도입하면 손상된 이미지의 장거리 의존성 처리 능력이 향상되는가?
• RQ3 제안된 잔류 비지역 주의 학습이 denoising, demosaicing, compression artifact reduction, SR 등 이미지 복원 작업에서 매우 깊은 네트워크에 효과적인가?
• RQ4 마스크 분기 설계 및 비지역 블록의 성능 및 효율성에 미치는 영향은 무엇인가?

주요 결과

• RNAN은 보고된 실험에서 denoising, demosaicing, compression artifacts reduction 및 SR에 대해 선도 방법들보다 우수한 결과를 얻는다.
• 비지역 혼합 주의 및 마스크 분기는 구성과 비교하여 일관되게 복원 성능을 향상시킨다.
• 더 많은 비지역 블록은 PSNR을 더 좋게 하지만 계산 비용이 증가하므로 균형을 위한 두 개의 비지역 블록 선택이 권장된다.
• RNAN은 상당한 모델 크기(~7.4M 파라미터)와 표준 벤치마크에서 경쟁력 있는 런타임으로 최신의 결과를 제공한다.
• 셀프 앙상블 RNAN+은 SR 결과를 더 향상시키며, 더 깊은 SR 모델보다 매개변수 효율이 높은 성능을 달성한다.