[논문 리뷰] Pyramid Attention Networks for Image Restoration

Yiqun Mei, Yuchen Fan외 7명|arXiv (Cornell University)|2020. 04. 28.

Advanced Image Processing Techniques참고 문헌 49인용 수 72

한 줄 요약

PANet은 다중 스케일 셀프-유사성을 포착하는 피라미드 어텐션 모듈을 도입하여 이미지 복원 작업의 성능을 향상시키고, 간단한 백본으로 노이즈 제거, 데모자이싱, 압축 아티팩트 제거, 초해상도에서 최신(최첨단) 성과를 달성한다.

ABSTRACT

Self-similarity refers to the image prior widely used in image restoration algorithms that small but similar patterns tend to occur at different locations and scales. However, recent advanced deep convolutional neural network based methods for image restoration do not take full advantage of self-similarities by relying on self-attention neural modules that only process information at the same scale. To solve this problem, we present a novel Pyramid Attention module for image restoration, which captures long-range feature correspondences from a multi-scale feature pyramid. Inspired by the fact that corruptions, such as noise or compression artifacts, drop drastically at coarser image scales, our attention module is designed to be able to borrow clean signals from their "clean" correspondences at the coarser levels. The proposed pyramid attention module is a generic building block that can be flexibly integrated into various neural architectures. Its effectiveness is validated through extensive experiments on multiple image restoration tasks: image denoising, demosaicing, compression artifact reduction, and super resolution. Without any bells and whistles, our PANet (pyramid attention module with simple network backbones) can produce state-of-the-art results with superior accuracy and visual quality. Our code will be available at https://github.com/SHI-Labs/Pyramid-Attention-Networks

연구 동기 및 목표

• 이미지 복원에서 셀프-유사성 프라이어의 사용을 동기 부여하고 단일 스케일의 비지역(non-local) 주의의 한계를 식별한다.
• 특징 피라미드에서 교차 스케일 상관관계를 집계하는 일반적인 피라미드 어텐션 모듈을 제안한다.
• 최소한의 아키텍처 변경으로 PANet의 다중 복원 작업에 대한 효과를 입증한다.

제안 방법

• 비지역 어텐션을 다중 스케일 수준으로 확장하는 피라미드 어텐션을 정의한다.
• 특징 맵의 다운샘플링으로 얻은 영역 서술자를 사용한 스케일에 독립적인 어텐션으로 인스턴스화한다.
• ResNet 유사 백본에 피라미드 어텐션 블록을 삽입하고 L1 손실로 학습시켜 전체 PANet으로 확장한다.
• 친화 함수에 임베디드 가우시안, 값 변환에 선형 임베딩, 피라미드 전반에 걸친 소프트맥스 정규화를 사용한다.
• 신뢰도 향상을 위해 이웃 제약 조건을 갖춘 패치 기반 영역-대-영역 매칭을 포함한다.
• 다양한 아키텍처와 호환되는 완전 합성곱 구현으로 구현을 보여준다.

실험 결과

연구 질문

• RQ1 피라미드 어텐션으로 포착된 교차 스케일 셀프-유사성이 다양한 작업 전반의 복원 품질을 향상시킬 수 있는가?
• RQ2 다중 스케일 어텐션의 통합이 단일 스케일 비지역 어텐션 및 기존의 최첨단 방법을 능가하는가?
• RQ3 제안된 PANet가 복원 아키텍처와 작업 전반에 걸쳐 사용할 수 있는 일반적인 빌딩 블록인가?

주요 결과

• PANet는 표준 벤치마크와 데이터셋에서 노이즈 제거, 데모자이싱, 압축 아티팩트 제거 및 초해상도에 대해 최첨단 성과를 달성한다.
• 단순한 백본의 단일 피라미드 어텐션 블록이 이전의 최고 방법들에 비해 상당한 개선을 보인다.
• 피라미드 어텐션이 포착한 다중 스케일 상관관계는 특히 교차 스케일 자기-예시가 풍부한 장면(예: Urban100)에서 견고한 개선을 제공한다.
• 피라미드 어텐션은 픽셀 단위 및 단일 스케일 비지역 매칭보다 우수하며 경량 PANet 변형에서도 효과적이다.
• 시각화는 다중 스케일에서 정보가 풍부한 영역에 주의 맵이 집중되는 것을 보여주며 교차 스케일 의존성 모델링을 검증한다.