[논문 리뷰] Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution

Ao Li, Le Zhang외 2명|arXiv (Cornell University)|2023. 08. 09.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 주파수 인식 Transformer 아키텍처인 CRAFT를 제안한다. 이는 고주파 세부 정보를 전용 잔차 블록(HFERB)을 통해 향상시키면서도, 이동 사각형 창 주의 블록(SRWAB)을 통해 전역적 맥락을 활용한다. 하이브리드 융합 블록(HFB)은 상호 주의를 사용하여 고주파 사전 지식을 활용해 전역 특징을 정밀하게 조정하며, 기존 최고 성능(SOTA) 방법보다 0.29 dB의 PSNR 향상을 이끌어내고 파rameter 수를 15% 줄였다.

ABSTRACT

Transformer-based methods have exhibited remarkable potential in single image super-resolution (SISR) by effectively extracting long-range dependencies. However, most of the current research in this area has prioritized the design of transformer blocks to capture global information, while overlooking the importance of incorporating high-frequency priors, which we believe could be beneficial. In our study, we conducted a series of experiments and found that transformer structures are more adept at capturing low-frequency information, but have limited capacity in constructing high-frequency representations when compared to their convolutional counterparts. Our proposed solution, the cross-refinement adaptive feature modulation transformer (CRAFT), integrates the strengths of both convolutional and transformer structures. It comprises three key components: the high-frequency enhancement residual block (HFERB) for extracting high-frequency information, the shift rectangle window attention block (SRWAB) for capturing global information, and the hybrid fusion block (HFB) for refining the global representation. To tackle the inherent intricacies of transformer structures, we introduce a frequency-guided post-training quantization (PTQ) method aimed at enhancing CRAFT's efficiency. These strategies incorporate adaptive dual clipping and boundary refinement. To further amplify the versatility of our proposed approach, we extend our PTQ strategy to function as a general quantization method for transformer-based SISR techniques. Our experimental findings showcase CRAFT's superiority over current state-of-the-art methods, both in full-precision and quantization scenarios. These results underscore the efficacy and universality of our PTQ strategy. The source code is available at: https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git.

연구 동기 및 목표

• CNN과 Transformers가 단일 이미지 초해상도(SISR)에서 고주파 성분의 기여도를 분석한다.
• Transformer 모델이 고주파 세부 정보 복원에 한계를 보이는 문제를 해결한다. 이는 SISR에서 시각적 품질과 선명도에 매우 중요하다.
• CNN의 고주파 표현 능력과 Transformer의 장거리 의존성 모델링 능력을 유기적으로 조합한 하이브리드 아키텍처를 설계한다.
• 고주파 특징을 사전 지식으로 사용하여 전역 표현을 정밀하게 개선하는 효과적인 융합 기법을 개발한다.
• 모델 복잡도와 추론 비용을 줄이며 최고의 성능을 달성한다.

제안 방법

• 제안된 CRAFT 프레임워크는 병렬 이중 브랜치 아키텍처를 사용한다: 하나의 브랜치는 저해상도 입력에서 고주파 세부 정보를 추출하고 강화하기 위한 고주파 강화 잔차 블록(HFERB)을 포함한다.
• 다른 브랜치는 이동된 창을 사용한 수정된 창 주의 메커니즘을 통해 장거리 의존성과 전역 표현을 캡처하는 이동 사각형 창 주의 블록(SRWAB)을 활용한다.
• 하이브리드 융합 블록(HFB)은 SRWAB 출력(쿼리로 사용)과 HFERB 출력(키 및 값으로 사용) 간의 상호 주의를 수행하여 전역 특징이 고주파 사전 지식을 활용해 정밀하게 개선되도록 한다.
• HFB는 채널 별 주의를 사용하여 계산 비용을 줄이면서도 다중 주파수 특징을 효과적으로 통합한다.
• 모델은 L1 손실과 인지적 손실의 조합을 사용하여 엔드 투 엔드로 훈련되며, 데이터 증강과 학습률 스케줄링을 통해 안정성을 확보한다.
• 모델은 DIV2K, Real-ESRGAN, Manga109 등 다양한 벤치마크에서 평가되며, 융합 전략, 주파수 사전 지식, 블록 기여도에 대한 분석 연구가 함께 수행된다.

실험 결과

연구 질문

• RQ1 CNN과 Transformers는 단일 이미지 초해상도에서 고주파 성분을 어떻게 다루고 복원하는가?
• RQ2 Transformer 기반 SISR 모델에서 고주파 정보가 부재할 경우, CNN 기반 모델 대비 성능 저하 정도는 어느 정도인가?
• RQ3 고주파 특징이 Transformer 기반 SISR 아키텍처에서 전역 표현을 정밀하게 개선하는 데 효과적인 사전 지식이 될 수 있는가?
• RQ4 하이브리드 CNN-Transformer 아키텍처에서 고주파 특징과 전역 특징을 융합하는 최적의 융합 전략은 무엇인가?
• RQ5 경량이고 효율적인 아키텍처가 기존 SOTA 방법보다 더 적은 파rameter와 FLOPs를 사용하면서도 성능을 뛰어넘을 수 있는가?

주요 결과

• CRAFT는 DIV2K 데이터셋에서 SOTA 방법 대비 최대 0.29 dB의 PSNR 향상을 기록하여 뛰어난 성능을 입증했다.
• Ablation 연구 결과, HFB에서 쿼리와 키/값 입력을 뒤바꿔 사용할 경우 PSNR가 0.51 dB 감소함을 확인하여, 전역 특징을 쿼리로, 고주파 특징을 키/값으로 사용하는 것이 중요함을 입증했다.
• CRAFT의 캐스케이드 구조 변형은 원본 설계 대비 0.3 dB의 PSNR 감소를 보였으며, 병렬적이고 주의 기반 융합이 순차적 처리보다 더 효과적임을 증명했다.
• CRAFT는 모델 복잡도를 줄였다: 파rameter는 753K(비교 모델인 SwinIR의 897K 대비), GFLOPs는 26.1(비교 모델의 32.2 대비), GPU 메모리는 79.5 MB(비교 모델의 141.2 MB 대비), 추론 시간은 42.8 ms로 단축되었다.
• HFB 모듈은 단순 연결 기반 융합 전략 대비 0.26 dB의 성능 향상을 보였으며, 주의 기반 특징 상호작용이 단순 스택보다 유리함을 확인했다.
• HFERB 브랜치는 질감이 풍부하고 에지 민감한 영역에서 고주파 세부 정보 복구에 기여가 크며, 이를 제거하거나 수정할 경우 성능 저하가 뚜렷하게 나타남을 통해 그 기여도를 입증했다.