[논문 리뷰] Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution

Wenjie Li, Juncheng Li외 4명|arXiv (Cornell University)|2022. 07. 06.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 경량형 하이브리드 CNN-Transformer 아키텍처인 Cross-receptive Focused Inference Network(CFIN)을 제안한다. CFIN은 동적으로 크로스스케일 및 컨텍스트 정보를 융합함으로써 특징 표현을 향상시킨다. Cross-Scale Information Aggregation Module(CIAM)과 Cross-receptive Field Guided Transformer(CFGT)를 통합함으로써, 계산 비용과 모델 크기가 감소한 상태에서 최신 기술 수준의 성능을 달성하며, 벤치마크 데이터셋에서 순수 CNN 및 Transformer 기반 기준 모델들을 능가한다.

ABSTRACT

Recently, Transformer-based methods have shown impressive performance in single image super-resolution (SISR) tasks due to the ability of global feature extraction. However, the capabilities of Transformers that need to incorporate contextual information to extract features dynamically are neglected. To address this issue, we propose a lightweight Cross-receptive Focused Inference Network (CFIN) that consists of a cascade of CT Blocks mixed with CNN and Transformer. Specifically, in the CT block, we first propose a CNN-based Cross-Scale Information Aggregation Module (CIAM) to enable the model to better focus on potentially helpful information to improve the efficiency of the Transformer phase. Then, we design a novel Cross-receptive Field Guided Transformer (CFGT) to enable the selection of contextual information required for reconstruction by using a modulated convolutional kernel that understands the current semantic information and exploits the information interaction within different self-attention. Extensive experiments have shown that our proposed CFIN can effectively reconstruct images using contextual information, and it can strike a good balance between computational cost and model performance as an efficient model. Source codes will be available at https://github.com/IVIPLab/CFIN.

연구 동기 및 목표

• 기존의 Transformer 기반 SISR 방법이 효율적인 특징 추출을 위한 동적 컨텍스트 정보 모델링 능력에 한계를 가진다는 문제를 해결하기 위해.
• 단일 이미지 초해상도에서 고화질 이미지 복원 품질을 유지하면서 계산 복잡도와 모델 크기를 줄이기 위해.
• CNN의 국소적 특징 추출 능력과 Transformer의 전역 모델링 능력을 보완하는 하이브리드 아키텍처를 설계하여 격차를 메우기 위해.
• 경량적이고 파rameter 효율적인 설계를 통해 자원 제약이 있는 장치에 효율적으로 배포할 수 있도록 하기 위해.

제안 방법

• cascaded CT Blocks로 구성된 하이브리드 네트워크 아키텍처를 제안하며, 각 CT Block은 초기 특징 정제를 위한 CNN 기반의 Cross-Scale Information Aggregation Module(CIAM)를 통합한다.
• 현재 의미적 콘텐츠에 기반해 관련된 특징을 적응적으로 선택할 수 있도록 조절 가능한 컨볼루션 커널을 사용하는 Cross-receptive Field Guided Transformer(CFGT)를 도입한다.
• Transformer 내부의 동적 주의 메커니즘을 활용하여 상호 자기 주의 상호작용을 통해 특징 선택을 안내하고 장거리 의존성 모델링을 향상시킨다.
• CT Blocks의 캐스케이드를 통해 점진적으로 특징을 정제함으로써 국소적 세부 정보 유지와 전역 컨텍스트 통합의 균형을 맞춘다.
• Transformer 단계 이전에 다양한 스케일의 특징을 집계함으로써 효율성을 향상시키고 관련 정보에 집중하도록 CIAM을 설계한다.
• 모델 복잡도를 파rameter 수, FLOPs, 추론 속도의 균형을 맞추어 최소한의 계산 오버헤드로 높은 성능을 달성하도록 최적화한다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-Transformer 아키텍처가 경량 SISR를 위해 국소적 및 전역적 특징 모델링을 효과적으로 융합할 수 있는가?
• RQ2 이미지 복원 과정에서 컨텍스트 정보를 어떻게 동적으로 선택하고 집중시킬 수 있는가? 성능 향상에 기여하는가?
• RQ3 Transformer 주의 메커니즘 내에서 조절 가능한 컨볼루션 커널이 의미적 컨텍스트에 기반해 특징 선택을 향상시킬 수 있는가?
• RQ4 제안된 CFIN이 순수 CNN 또는 Transformer 기반 기준 모델 대비 모델 효율성과 성능 간의 더 나은 트레이드오프를 달성하는가?
• RQ5 이 모델은 모바일 배포에 적합한 낮은 계산 예산 조건에서도 높은 성능을 유지할 수 있는가?

주요 결과

• Set5 (×4)에서 CFIN은 최고의 PSNR 32.49 dB를 기록하여 순수-CNN 및 순수-Transformer 모델을 모두 능가한다.
• Urban100 (×2)에서 CFIN은 PSNR 26.39 dB와 SSIM 0.7946을 달성하며, 최소한의 계산 비용으로 뛰어난 성능을 보여준다.
• 모델 크기(699K 파라미터), FLOPs(11.45G), 추론 시간(0.035초) 간의 유리한 균형을 확보하여, 효율성 면에서 유사 모델들을 능가한다.
• 제거 실험을 통해 CFIN에서 CNN과 Transformer의 조합이 개별 구성 요소보다 더 뛰어난 성능을 내며, 상호 보완적 성질을 입증한다.
• Set5, Set14, Urban100, Manga109 등 모든 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며 PSNR 및 SSIM에서 일관된 향상을 보였다.
• 단일 NVIDIA RTX 2080Ti GPU에서 배포 가능하며, 빠른 추론 성능를 유지하여 모바일 및 엣지 응용 분야에 적합하다.