[논문 리뷰] Cross Aggregation Transformer for Image Restoration

Zheng Chen, Yulun Zhang외 4명|arXiv (Cornell University)|2022. 11. 24.

Advanced Image Processing Techniques인용 수 122

한 줄 요약

이 논문은 이미지 복원용 Cross Aggregation Transformer (CAT)를 제시하며, 직사각형 윈도우 자기 주의(Rwin-SA)와 축 이동(axial-shift), 그리고 글로벌 주의와 로컬 CNN 유도 편향을 융합하는 Locality Complementary Module을 특징으로 한다.

ABSTRACT

Recently, Transformer architecture has been introduced into image restoration to replace convolution neural network (CNN) with surprising results. Considering the high computational complexity of Transformer with global attention, some methods use the local square window to limit the scope of self-attention. However, these methods lack direct interaction among different windows, which limits the establishment of long-range dependencies. To address the above issue, we propose a new image restoration model, Cross Aggregation Transformer (CAT). The core of our CAT is the Rectangle-Window Self-Attention (Rwin-SA), which utilizes horizontal and vertical rectangle window attention in different heads parallelly to expand the attention area and aggregate the features cross different windows. We also introduce the Axial-Shift operation for different window interactions. Furthermore, we propose the Locality Complementary Module to complement the self-attention mechanism, which incorporates the inductive bias of CNN (e.g., translation invariance and locality) into Transformer, enabling global-local coupling. Extensive experiments demonstrate that our CAT outperforms recent state-of-the-art methods on several image restoration applications. The code and models are available at https://github.com/zhengchen1999/CAT.

연구 동기 및 목표

• 이미지 복원에서 장거리 의존성 모델링을 개선하되 계산량은 관리 가능한 범위로 유지하는 것을 목표로 한다.
• 비정사각형 윈도에서 특징을 집계하여 수용 영역을 확장하는 트랜스포머 기반 아키텍처를 개발한다.
• 전역 정보와 로컬 정보의 결합을 위해 Locality Complementary Module을 도입하여 CNN식 로컬 편향을 주입한다.
• CAT를 초해상도(SR), JPEG 아티팩트 감소, 그리고 실제 노이즈 제거에 적용하고 최첨단 성능을 입증한다.

제안 방법

• 수평 및 수직 직사각형 윈도우를 다양한 주의(head)에서 사용하여 주의 영역을 넓히는 rectangle-window self-attention(Rwin-SA)을 도입한다.
• 하나의 직사각형 측을 이미지 높이나 폭으로 고정하여 축 방향 직사각형 윈도우(axial rectangle windows(axial-Rwin))를 형성하고, 연속된 Rwin-SA 블록 간에 축 이동(axial-shift) 연산을 포함한다.
• Locality Complementary Module(LCM)을 도입하여 self-attention과 평행하게 값 가지(value branch)에서 깊이별 컨볼루션(depthwise convolution)을 적용하고 로컬 및 글로벌 신호를 융합한다.
• RCAN에서 영감을 받은 백본에 CAT 블록(CATB)을 삽입하고 RCAB를 CATB로 대체하여 Cross Aggregation Transformer(CAT)을 구성한다.
• SR, JPEG 아티팩트 감소, 실제 노이즈 제거 작업에 맞춘 재구성 모듈과 함께 CATB의 잔차 단(group) 구조를 사용한다.

실험 결과

연구 질문

• RQ1 직사각형 윈도우 자기 주의가 축 이동(axial-shift)과 함께 이미지 복원에서 제곱 윈도우 자기 주의보다 더 긴-range 의존성을 효과적으로 포착할 수 있는가?
• RQ2 로컬 편향 CNN 구성요소(LCM)를 트랜스포머 주의와 결합하면 계산 오버헤드 없이 복원 품질이 향상되는가?
• RQ3 표준 이미지 복원 작업(SR, JPEG 아티팩트 감소, 실제 노이즈 제거)에서 CAT의 성능이 최첨단 방법과 비교해 어떤가?

주요 결과

• 축 이동이 적용된 직사각형 윈도우 자기 주의가 제곱 윈도우 주의보다 성능이 우수하여 이미지 복원 벤치마크에서 PSNR/SSIM이 더 높다.
• LCM은 전역 자기 주의와 로컬 컨볼루션 편향을 결합하여 추가 이득을 제공하며, FLOPs 증가가 미미하다(약 0.26%–0.32%).
• CAT-R(일반형-Rwin)과 CAT-A(축형-Rwin)는 특히 Urban100에서 SR 스케일 전반에 걸쳐 강한 개선을 달성하며, CAT-A가 제안된 변형들 중 일반적으로 최고 성능을 보인다.
• CAT 기반 모델은 PSNR/SSIM 지표에서 이미지 SR, JPEG 아티팩트 감소, 실제 노이즈 제거에서 다수의 최첨단 방법을 능가한다.
• ABLATIONS은 적절한 측 길이 설정과 함께 axial-Rwin이 최적 성능에 중요하며, 직사각형 윈도우와 축 이동의 조합이 수용 영역을 효과적으로 확장한다는 것을 보여준다.