[논문 리뷰] CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution

Jiezhang Cao, Qin Wang외 8명|arXiv (Cornell University)|2022. 12. 08.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

CiaoSR는 임의의 스케일 이미지 초해상도 분석을 위한 연속적 암묵적 어텐션 인 어텐션 네트워크를 제안하며, 좌표와 시각적 특징 유사도를 기반으로 특징 앙상블 가중치를 명시적으로 학습하고, 수축 영역을 고려한 비국소 어텐션을 통합하여 수용 영역을 향상시킨다. 이는 기준 데이터셋에서 최고 성능을 기록하며 스케일 내 및 스케일 외 분포에 대해 잘 일반화되며, 실세계 환경에서도 뛰어난 성능을 보인다.

ABSTRACT

Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image SR methods with the same backbone. In addition, CiaoSR also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.

연구 동기 및 목표

• 기존 局부 앙상블 방법의 한계를 해결하기 위해, 고정된 비학습 가능한 가중치에 의존하고 충분한 수용 영역이 없는 임의의 스케일 이미지 초해상도 분석 문제를 다루는 것.
• 좌표 거리와 시각적 특징 유사도를 기반으로 한 학습 가능한 어텐션 가중치를 통해 특징 집합을 향상시키는 것.
• 암묵적 네트워크 내에 스케일 인식 비국소 어텐션을 통합하여 장거리 맥락 모델링을 향상시키는 것.
• 모든 기존 초해상도 백본에 유연하게 통합되어 다양한 스케일에서 성능 향상을 이끌 수 있도록 하는 것.
• 실세계 초해상도에서 실용적인 열화 모델과 비기준 평가 지표를 사용하여 효과성을 입증하는 것.

제안 방법

• CiaoSR는 쿼리 좌표에서 RGB 값을 예측하기 위해 局부 특징에서 앙상블 가중치를 학습하는 연속적 암묵적 어텐션 메커니즘을 사용한다.
• 앙상블 가중치는 쿼리와 키 좌표 간의 유클리드 거리와 시각적 특징 유사도를 모두 고려하는 학습 가능한 어텐션 모듈을 통해 계산된다.
• 장거리 상관관계를 포착하고 국소 영역을 초월한 수용 영역을 풍부하게 하기 위해 암묵적 어텐션 내에 스케일 인식 비국소 어텐션 모듈이 통합된다.
• 모든 기존 초해상도 백본 네트워크(예: RDN 또는 SwinIR)와의 통합이 가능하도록 플러그 앤 플레이 방식으로 설계되었다.
• 적응형 학습률 스케줄링과 지수 이동 평균을 사용하여 엔드 투 엔드로 훈련된다.
• 실세계 열화 데이터(흐림, 노이즈, 압축)로 미세조정되어 실사진에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 좌표와 시각적 특징 유사도를 동시에 고려하는 학습 가능한 암묵적 어텐션 메커니즘이 고정된 비선형 스타일의 局부 앙상블 방법보다 임의의 스케일 초해상도에서 우월한 성능을 내는가?
• RQ2 스케일 인식 비국소 어텐션을 통합함으로써 성능 향상과 다양한 스케일 인자에 대한 일반화 능력이 어떻게 향상되는가?
• RQ3 제안된 CiaoSR 프레임워크가 다양한 초해상도 백본에 쉽게 통합되어 백본 재학습 없이 성능 향상을 이끌 수 있는가?
• RQ4 CiaoSR은 스케일 외 분포와 실세계 이미지 열화 패턴에 잘 일반화되는가?
• RQ5 CiaoSR은 지표 없는 평가에 의존하지 않고도 기준 및 실세계 초해상도 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• Urban100 기준에서 CiaoSR은 ×2에서 SSIM 0.938, ×8에서 0.871을 기록하며 최고 성능을 달성했고, LPIPS는 ×2에서 0.100, ×8에서 0.408을 기록했다.
• 동일한 기준에서 CiaoSR은 모든 스케일 인자에서 MetaSR, LIIF, LTE, ITSRN보다 SSIM과 LPIPS 측면에서 모두 우월한 성능을 보였다.
• RealSRSet에서 실세계 초해상도 분석을 수행한 결과, CiaoSR은 ×8에서 NIQE 3.5894, ×16에서 3.9461을 기록하여 RealSR, BSRGAN, Real-ESRGAN을 모두 앞섰다.
• 시각적 비교 결과, CiaoSR은 기준 모델 대비 더 선명한 질감과 더 적은 잡음과 기능을 생성했으며, 특히 강아지 털과 숫자와 같은 복잡한 영역에서 뚜렷한 우월성을 보였다.
• 모델는 스케일 외 분포에 효과적으로 일반화되며, 실세계 데이터셋에서 실용적인 열화 패턴을 가진 이미지에서도 높은 인지적 품질을 유지했다.
• CiaoSR은 강력한 이식성과 함께, 실사진 데이터에서의 미세조정 없이도 합성 및 실세계 데이터에서 모두 뛰어난 성능을 달성했다.