[논문 리뷰] Efficient and Explicit Modelling of Image Hierarchies for Image Restoration

Yawei Li, Yuchen Fan외 5명|arXiv (Cornell University)|2023. 03. 01.

Advanced Image Processing Techniques인용 수 18

한 줄 요약

논문은 앵커드 스트라이프 셀프 어텐션과 GRL 아키텍처를 도입하여 이미지 복원에서 글로벌, 지역 및 로컬 이미지 계층 구조를 명시적으로 모델링하고, 일곱 가지 작업에서 최첨단 결과를 달성한다.

ABSTRACT

The aim of this paper is to propose a mechanism to efficiently and explicitly model image hierarchies in the global, regional, and local range for image restoration. To achieve that, we start by analyzing two important properties of natural images including cross-scale similarity and anisotropic image features. Inspired by that, we propose the anchored stripe self-attention which achieves a good balance between the space and time complexity of self-attention and the modelling capacity beyond the regional range. Then we propose a new network architecture dubbed GRL to explicitly model image hierarchies in the Global, Regional, and Local range via anchored stripe self-attention, window self-attention, and channel attention enhanced convolution. Finally, the proposed network is applied to 7 image restoration types, covering both real and synthetic settings. The proposed method sets the new state-of-the-art for several of those. Code will be available at https://github.com/ofsoundof/GRL-Image-Restoration.git.

연구 동기 및 목표

• 고차원 이미지의 글로벌 범위 특징을 복원 작업에서 효율적으로 모델링하는 것을 목표로 한다.
• 단일 계산 모듈로 글로벌, 지역 및 로컬 의존성을 명시적으로 모델링한다.
• 용량과 비용의 균형을 맞춘 확장 가능한 어텐션 메커니즘을 제안한다.
• 실제 및 합성 설정의 일곱 가지 이미지 복원 작업에 이 아키텍처를 적용한다.

제안 방법

• 앵커와 비등방성 스트라이프 로컬라이제이션을 사용하여 전체 셀프 어텐션을 근사하기 위해 앵커드 스트라이프 셀프 어텐션을 소개한다.
• 복잡도를 M 개의 앵커로 O(NMd)로 줄이는 앵커드 스트라이프 셀프 어텐션 방정식(M_d, M_e)을 개발한다.
• 글로벌, 지역 및 로컬 모델링을 위해 앵커드 스트라이프 셀프 어텐션, 윈도우 셀프 어텐션, 채널 어텐션이 강화된 컨볼루션을 병렬로 결합한 GRL 네트워크를 제안한다.
• 병렬 어텐션과 컨볼루션 분기를 융합하는 트랜스포머 층이 포함된 표현 학습 모듈을 구현한다.
• 초고해상도 복원, 노이즈 제거, JPEG 인공물 제거, 디모자이킹, 실제 이미지 초해상도, 모션 디블러링, 디포커스 디블러링을 포함한 일곱 가지 이미지 복원 작업에서 GRL을 학습 및 평가한다.
• 어텐션 메커니즘에서 저랭크성 및 유사도 전파와의 연결에 대해 논의한다.

Figure 2 : The proposed GRL achieves state-of-the-art performances on various image restoration tasks. Details provided in Sec. 5 .

실험 결과

연구 질문

• RQ1 고차원 복원 작업에서 글로벌 범위 이미지 특징을 어떻게 효율적으로 모델링할 수 있는가?
• RQ2 단일 계산 모듈이 이미지 복원에서 글로벌, 지역 및 로컬 계층 구조를 명시적으로 모델링할 수 있는가?
• RQ3 계층 구조의 공동 모델링이 여러 복원 작업에서 성능을 균일하게 향상시키는가?

주요 결과

• GRL은 다수의 이미지 복원 작업에서 최첨단 결과를 달성한다(일곱 가지를 탐구).
• 앵커드 스트라이프 셀프 어텐션은 지역 창을 넘는 글로벌 의존성을 포착하면서 시간 및 공간 복잡도를 감소시킨다.
• GRL-B(베이스 모델)는 Restormer에 비해 파라미터를 24% 절약하면서도 강한 성능을 달성한다.
• GRL-S(소형)는 다양한 작업에서 SwinIR 및 Restormer 기준선과 경쟁력 있다.
• GRL-T(초소형)는 정확도를 희생하지 않으면서 비교 방법의 매개변수 대비 매우 낮은 모델 복잡성을 달성한다(한 세트에서 비교 방법의 매개변수의 0.76%, 다른 세트에서 2.7%).
• GRL은 다수의 데이터셋에서 실제 이미지 디블러링, 합성 데이터 노이즈 제거, JPEG 인공물 제거 및 디모자이킹 결과를 향상시킨다.

Figure 3 : Cross-scale similarity. (c) and (d) shows the attention map between the selected pixels and the example high-resolution image. Although the cyan pixel in (a) and the red pixel in (b) are from images with different resolutions, their attention map with respect to the high-resolution image