[논문 리뷰] Enriched CNN-Transformer Feature Aggregation Networks for Super-Resolution

Jinsu Yoo, Tae-Hoon Kim외 4명|arXiv (Cornell University)|2022. 03. 15.

Image Processing Techniques and Applications인용 수 8

한 줄 요약

이 논문은 국소적 특징 추출을 위한 CNN과 장거리 의존성 모델링을 위한 비전 트랜스포머를 유기적으로 융합하는 하이브리드 초해상도 네트워크인 ACT(Aggregated CNN-Transformer)를 제안한다. 트랜스포머 브랜치 내에서 다중 척도 토큰 추론을 가능하게 하기 위해 크로스스케일 토큰 어텐션(Cross-Scale Token Attention, CSTA) 모듈을 도입함으로써, ACT는 반복적인 무늬와 복잡한 구조를 가진 이미지에서 특히 뛰어난 성능을 기록하며 최신 기준 성능을 달성한다.

ABSTRACT

Recent transformer-based super-resolution (SR) methods have achieved promising results against conventional CNN-based methods. However, these approaches suffer from essential shortsightedness created by only utilizing the standard self-attention-based reasoning. In this paper, we introduce an effective hybrid SR network to aggregate enriched features, including local features from CNNs and long-range multi-scale dependencies captured by transformers. Specifically, our network comprises transformer and convolutional branches, which synergetically complement each representation during the restoration procedure. Furthermore, we propose a cross-scale token attention module, allowing the transformer branch to exploit the informative relationships among tokens across different scales efficiently. Our proposed method achieves state-of-the-art SR results on numerous benchmark datasets.

연구 동기 및 목표

• 순수한 트랜스포머 기반 초해상도 네트워크가 국소적 및 다중 척도 특징을 포착하는 데에 한계가 있음을 해결하기 위해.
• 표준 자기어텐션 메커니즘이 국소 패턴과 토큰 경계 아티팩트를 처리하는 데에 약한 점을 보완하기 위해.
• 특징 학습 과정에서 전용 CNN 및 트랜스포머 브랜치로부터의 상보적 특징 융합을 통해 이미지 복원 품질을 향상시키기 위해.
• 계산 비용을 과도하게 증가시키지 않으면서도 토큰 간의 다중 척도 관계를 효율적으로 활용할 수 있는 메커니즘을 개발하기 위해.
• 특히 고도로 반복되는 패턴을 가진 장면에서 뛰어난 성능을 보여주며 표준 초해상도 벤치마크에서 열등한 성능을 보이는 것을 입증하기 위해.

제안 방법

• 국소적 및 비국소적 특징을 독립적으로 처리하기 위해 별도의 CNN 및 트랜스포머 브랜치를 갖춘 이중 브랜치 아키텍처를 설계하기 위해.
• 다중 척도 토큰 간의 관계를 학습할 수 있도록 허용하기 위해, 여러 척도에서 특징을 재토크나이징하는 크로스스케일 토큰 어텐션(CSTA) 모듈을 도입하기 위해.
• 최종 복원 전에 양 브랜치의 중간 특징을 연결하여 후기 특징 융합을 적용하기 위해.
• 재토크나이징 기법을 영감으로 받아, 트랜스포머 브랜치에서 더 rich하고 척도 인식 가능한 표현을 생성하기 위한 다중 척도 재토크나이징 전략을 사용하기 위해.
• 초해상도 작업에서 위치 임베딩의 필요성을 조사하여, 다중 척도 모델링과 함께 사용될 경우 위치 임베딩이 상대적으로 덜 중요하다는 것을 발견하기 위해.
• 학습 안정성과 특징 전파 향상을 위해 스킵 연결과 잔차 학습을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 보완적인 강점을 활용함으로써 순수한 트랜스포머 기반 방법보다 하이브리드 CNN-트랜스포머 아키텍처가 이미지 초해상도에서 뛰어난 성능을 낼 수 있는가?
• RQ2 크로스스케일 어텐션 메커니즘은 이미지 토큰 간의 다중 척도 관계를 얼마나 효과적으로 활용하여 초해상도에서 특징 표현을 향상시킬 수 있는가?
• RQ3 국소적 CNN 특징의 통합이 트랜스포머 기반 초해상도 네트워크에서 토크나이징으로 인한 아티팩트를 완화하는 데 기여하는가?
• RQ4 제안된 방법은 고자기유사성 또는 반복 패턴을 가진 이미지에서 성능을 어느 정도 향상시키는가?
• RQ5 트랜스포머 기반 초해상도 프레임워크에서 다중 척도 어텐션을 사용할 경우 모델 복잡도와 성능 간의 상충 관계는 어떠한가?

주요 결과

• ACT는 Urban100 및 DIV80를 포함한 여러 벤치마크 데이터셋에서 ×2, ×3, ×4 스케일 요인 전부에 대해 최신 기준 성능을 기록하며 PSNR 및 SSIM 점수를 모두 최고로 기록했다.
• Urban100 데이터셋에서 ACT는 모든 스케일 요인에서 SwinIR보다 PSNR가 0.3 dB 이상 높게 기록되었으며, 이는 CSTA 모듈이 고반복성 장면을 효과적으로 처리한다는 것을 입증한다.
• 메서드는 빛나는 시각적 품질 향상을 보였으며, 텍스트나 복잡한 무늬와 같은 세부 사항을 정확히 복원했다. 예를 들어, 'MisutenaideDaisy' 이미지에서 가독성이 확보된 문자를 정확히 복원했다.
• qualitative 비교를 통해 ACT는 블러링 아티팩트를 줄이고 창문 및 건물 외벽과 같은 구조물의 날카운 에지 유지 능력을 보였다. 'barbara' 및 'img092' 이미지에서 이를 확인할 수 있었다.
• 최고의 성능를 달성함에도 불구하고, ACT는 경쟁적인 모델 크기와 FLOPs를 유지했으며, 46M 파라미터와 22G FLOPs를 기록했고, IPT(114M 파라미터)와 같은 더 무거운 모델보다 뛰어난 성능를 보였다.
• 제거 실험을 통해 이중 브랜치 아키텍처와 CSTA 모듈이 성능 향상에 필수적임을 확인했으며, 트랜스포머 브랜치는 고주파 수준의 세부 정보를 담당하고, CNN 브랜치는 구조적 윤곽을 담당함을 확인했다.