[논문 리뷰] Omni Aggregation Networks for Lightweight Image Super-Resolution

Hang Wang, Xuanhong Chen외 3명|arXiv (Cornell University)|2023. 04. 20.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 이미지 초해상도를 위한 경량화 시각 트랜스포머 프레임워크인 Omni-SR을 제안하며, 공간적 및 채널별 특징 상호작용을 동시에 모델링하기 위해 옴니 세라프턴(OMNI SELF-ATTENTION, OSA)을 도입하고, 계층적인 국소, 중간, 전역 스케일 특징 학습을 가능하게 하기 위해 옴니 스케일 어그리게이션 그룹(OMNI-SCALE AGGREGATION GROUP, OSAG)을 제안한다. 이 방법은 오직 792K 파라미터로도 최신 기술 수준의 성능을 달성하여, Urban100 ×4에서 26.95 dB, Manga109 ×4에서 31.50 dB의 성능을 기록한다.

ABSTRACT

While lightweight ViT framework has made tremendous progress in image super-resolution, its uni-dimensional self-attention modeling, as well as homogeneous aggregation scheme, limit its effective receptive field (ERF) to include more comprehensive interactions from both spatial and channel dimensions. To tackle these drawbacks, this work proposes two enhanced components under a new Omni-SR architecture. First, an Omni Self-Attention (OSA) block is proposed based on dense interaction principle, which can simultaneously model pixel-interaction from both spatial and channel dimensions, mining the potential correlations across omni-axis (i.e., spatial and channel). Coupling with mainstream window partitioning strategies, OSA can achieve superior performance with compelling computational budgets. Second, a multi-scale interaction scheme is proposed to mitigate sub-optimal ERF (i.e., premature saturation) in shallow models, which facilitates local propagation and meso-/global-scale interactions, rendering an omni-scale aggregation building block. Extensive experiments demonstrate that Omni-SR achieves record-high performance on lightweight super-resolution benchmarks (e.g., 26.95 dB@Urban100 $ imes 4$ with only 792K parameters). Our code is available at \url{https://github.com/Francis0625/Omni-SR}.

연구 동기 및 목표

• 경량화 시각 트랜스포머 기반 초해상도 모델에서 효과적 영역이 제한된 문제를 해결하기 위해.
• 공간적만 또는 채널적만을 고려하는 단일 차원 자기주의(예: 공간적 또는 채널 전용)의 한계를 극복하여 종합적인 특징 상호작용을 포괄적으로 포착하기 위해.
• 효과적 영역이 조기에 포화되는 문제를 완화함으로써 浅층 모델의 특징 표현을 향상시키기 위해.
• 국소, 중간, 전역 스케일에 걸쳐 점진적이고 계층적인 특징 학습을 가능하게 하는 다중 스케일 어그리게이션 설계를 하기 위해.

제안 방법

• 공간적 및 채널 차원에서 동시적으로 상관행렬을 계산함으로써 옴니축 특징 상호작용을 가능하게 하는 3차원 상호작용 메커니즘인 옴니 세라프턴(OMNI SELF-ATTENTION, OSA)을 제안한다.
• 스윙 스타일의 윈도우 분할 전략과 OSA를 통합하여 계산 효율성을 유지하면서도 맥락 모델링 능력을 향상시킨다.
• 국소 컨벌루션(세부 정보 처리), 중간 스케일 자기주의(중간 범위 패턴 처리), 전역 자기주의(장거리 맥락 처리)로 구성된 세 개의 연결된 구성 요소를 가진 옴니 스케일 어그리게이션 그룹(OMNI-SCALE AGGREGATION GROUP, OSAG)을 설계한다.
• 동일한 모듈을 반복적으로 쌓는 것과는 달리, 다양한 연산자(컨벌루션, 자기주의)를 계층적으로 스택하여 동일한 모듈의 성능 포화 현상을 방지한다.
• 스칼라 기반의 어텐션(예: SE, CBAM)이 아닌 공분산 기반의 채널 상호작용을 사용함으로써 더 풍부한 특징 전파를 가능하게 한다.
• FLOPs와 파라미터 수를 제어함으로써 모델 효율성을 유지하여, 압축된 792K 파라미터 모델을 달성한다.

실험 결과

연구 질문

• RQ1 동시적인 공간적 및 채널별 자기주의가 경량 초해상도 모델의 특징 표현을 향상시키는가?
• RQ2 서로 다른 국소, 중간, 전역 구성 요소를 가진 다중 스케일 어그리게이션 설계가 동일한 연산자를 반복적으로 스택하는 것보다 우수한가?
• RQ3 기존의 어텐션 메커니즘(예: SE, CBAM)과 비교해 본다면, 제안된 OSA 모듈은 성능과 최적화 안정성 측면에서 어떻게 다른가?
• RQ4 옴니 스케일 설계가 얕은 모델에서 효과적 영역 포화 문제를 어느 정도 완화하는가?
• RQ5 제안된 프레임워크는 매우 낮은 파라미터 수(100만 이하)로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Omni-SR는 오직 792K 파라미터로만 Urban100 ×4에서 26.95 dB를 달성하여 경량 모델 분야에서 새로운 최신 기술 수준을 수립한다.
• Omni-SR는 파라미터 수가 더 적음에도 불구하고, Urban100 ×4에서 SwinIR보다 0.04 dB 높은 성능을 기록한다.
• 채널별 구성 요소를 제거한 모델(Omni-SR_sp)은 성능이 0.13 dB 저하되어 채널 상호작용의 중요성을 입증한다.
• 국소, 중간, 전역 스케일의 모든 구성 요소를 포함한 OSAG 설계가 가장 높은 성능을 기록하며, 단일 또는 双중 구성 요소 설계보다 뛰어나다.
• 전체 모델는 더 부드러운 손실 곡면과 더 빠른 수렴을 보이며, 더 나은 최적화 성질을 지녀야 한다는 것을 시사한다.
• 공분산 기반의 상호작용을 사용하는 OSA 모듈은 FLOPs가 동일한 조건에서 스칼라 기반 대안(Single-Head, SE, CBAM)보다도 뛰어난 성능을 보인다.