[논문 리뷰] Image Super-Resolution using Efficient Striped Window Transformer

Jinpeng Shi, Hui Li외 6명|ArXiv.org|2023. 01. 24.

Advanced Image Processing Techniques인용 수 11

한 줄 요약

논문은 ESWT를 소개합니다. 이는 BN을 self-attention에 삽입하고, 긴 거리 의존성을 모델링하기 위한 striped window 메커니즘을 사용하며, 추가 비용 없이 성능을 향상시키는 유연한 윈도우 트레이닝 전략을 갖춘 경량 이미지 초해상용 스트라이프 윈도우 트랜스포머입니다.

ABSTRACT

Transformers have achieved remarkable results in single-image super-resolution (SR). However, the challenge of balancing model performance and complexity has hindered their application in lightweight SR (LSR). To tackle this challenge, we propose an efficient striped window transformer (ESWT). We revisit the normalization layer in the transformer and design a concise and efficient transformer structure to build the ESWT. Furthermore, we introduce a striped window mechanism to model long-term dependencies more efficiently. To fully exploit the potential of the ESWT, we propose a novel flexible window training strategy that can improve the performance of the ESWT without additional cost. Extensive experiments show that ESWT outperforms state-of-the-art LSR transformers, and achieves a better trade-off between model performance and complexity. The ESWT requires fewer parameters, incurs faster inference, smaller FLOPs, and less memory consumption, making it a promising solution for LSR.

연구 동기 및 목표

• 성능과 모델 복잡도 사이의 균형을 통해 경량 단일 이미지 초해상도(SR)를 촉진한다.
• 얕은 SR 모델에 적합한 간결한 트랜스포머 백본을 제안한다.
• 스트라이드드(window striped) 메커니즘으로 장거리 의존성을 효율적으로 모델링한다.
• 스트라이프드 윈도우 간 공유 표현을 활용하는 유연한 윈도우 트레이닝 전략을 통해 성능을 향상시킨다.

제안 방법

• 배치 정규화(BN)를 self-attention에 삽입하여 트랜스포머 레이어를 재고하고 재설계하며, 트랜스포머 코어에서 정규화 계층을 제거한다.
• 로컬 윈도우 내에 BN-embedded self-attention(BSA)을 도입하여 복잡도를 줄이고 학습을 안정화한다.
• 수직 및 수평 스트라이프 윈도우를 적용하는 striped window 메커니즘을 개발하여 전통적인 shift/overlapped 윈도우보다 낮은 비용으로 장거리 의존성을 포착한다.
• 얕은 특성 추출 모듈, 효율적인 트랜스포머 블록의 심층 특성 추출 모듈, 재구성 모듈로 ESWT를 구성한다.
• 수용영역(receptive fields)을 점진적으로 확장하기 위해 스트레칭된 striped 윈도우를 사용하고 단계 간 가중치를 공유하는 3단계의 유연한 윈도우 트레이닝 전략을 제안한다.

실험 결과

연구 질문

• RQ1 얕은 트랜스포머에서 BN-embedded 어텐션이 낮은 복잡도에서도 SR 성능을 향상시킬 수 있는가?
• RQ2 스트라이프드 윈도우 메커니즘이 계산 비용을 줄이면서도 장거리 의존성을 효과적으로 모델링하는가?
• RQ3 추가 학습 비용 없이도 유연한 다단계 윈도우 트레이닝 전략이 SR 결과를 향상시킬 수 있는가?

주요 결과

• ESWT는 최첨단 경량 SR 트랜스포머와 비교해 성능과 모델 복잡도 사이에서 우수한 트레이드오프를 달성한다.
• self-attention에 BN을 삽입하고 전역 정규화를 제거하는 것은 얕은 트랜스포머의 일반화 성능을 향상시킨다.
• striped window 메커니즘(수직 및 수평 스트라이프)은 전통적인 shift/overlapped 윈도우보다 낮은 복잡도에서 장기 의존성 모델링을 향상시킨다.
• 유연한 윈도우 트레이닝 전략은 스트라이프드 윈도우 간의 공유 표현을 활용하여 추가 학습 비용 없이도 SR 성능을 더 향상시킨다.