[논문 리뷰] Global Learnable Attention for Single Image Super-Resolution

Jian-Nan Su, Min Gan외 3명|arXiv (Cornell University)|2022. 12. 02.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR)를 위한 새로운 어텐션 메커니즘인 글로벌 유연한 어텐션(GLA)을 제안한다. GLA는 훈련 중 비국소적 텍스처 유사도를 적응적으로 재가중함으로써, 심하게 손상된 영역을 복구할 때 유사도가 낮지만 더 정확한 텍스처를 우선시하도록 한다. GLA는 초단순성-근접 해싱(SB-LSH)을 통해 선형 계산 복잡도를 확보하며 다양한 왜곡 유형(흐림, 노이즈)에서 최신 기술 수준의 성능을 달성한다. 이는 심층 유연한 유사도 네트워크(DLSN)에 통합되어 기준 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Self-similarity is valuable to the exploration of non-local textures in single image super-resolution (SISR). Researchers usually assume that the importance of non-local textures is positively related to their similarity scores. In this paper, we surprisingly found that when repairing severely damaged query textures, some non-local textures with low-similarity which are closer to the target can provide more accurate and richer details than the high-similarity ones. In these cases, low-similarity does not mean inferior but is usually caused by different scales or orientations. Utilizing this finding, we proposed a Global Learnable Attention (GLA) to adaptively modify similarity scores of non-local textures during training instead of only using a fixed similarity scoring function such as the dot product. The proposed GLA can explore non-local textures with low-similarity but more accurate details to repair severely damaged textures. Furthermore, we propose to adopt Super-Bit Locality-Sensitive Hashing (SB-LSH) as a preprocessing method for our GLA. With the SB-LSH, the computational complexity of our GLA is reduced from quadratic to asymptotic linear with respect to the image size. In addition, the proposed GLA can be integrated into existing deep SISR models as an efficient general building block. Based on the GLA, we constructed a Deep Learnable Similarity Network (DLSN), which achieves state-of-the-art performance for SISR tasks of different degradation types (e.g. blur and noise). Our code and a pre-trained DLSN have been uploaded to GitHub† for validation.

연구 동기 및 목표

• 기존 SISR 방법들이 고유사도 비국소적 텍스처가 항상 더 유용하다고 가정하는 한계를 해결하기 위해.
• 심하게 손상된 영역을 복구할 때 더 풍부하고 정확한 세부 정보를 담고 있을 수 있는 저유사도 비국소적 텍스처를 심층 SISR 모델이 효과적으로 활용할 수 있도록 하기 위해.
• 비국소 어텐션의 이차 계산 복잡도를 줄이기 위해 초단순성-근접 해싱(SB-LSH)을 도입함으로써 SISR에서의 복잡도를 선형으로 감소시키기 위해.
• 기존 심층 SISR 아키텍처에 쉽게 통합할 수 있는 일반 목적의 효율적인 어텐션 모듈(GLA)을 설계하기 위해.
• 흐림, 노이즈, 실세계 아티팩트를 포함한 다양한 왜곡 유형에 대해 제안된 방법의 강건성과 효과성을 검증하기 위해.

제안 방법

• 쿼리와 비국소적 특징 간의 유사도 점수를 훈련 중에 학습시켜 고정된 함수(예: 내적)에 의존하지 않는 글로벌 유연한 어텐션(GLA) 모듈을 제안한다.
• 유사도 점수가 낮더라도 복구가 필요한 쿼리 영역에 대해 관련성이 높은 비국소적 특징의 중요도를 동적으로 조정할 수 있는 학습 가능한 어텐션 메커니즘을 도입한다.
• GLA의 계산 복잡도를 이미지 크기 기준으로 O(n²)에서 점점 선형 O(n)으로 감소시키기 위해 초단순성-근접 해싱(SB-LSH)을 활용한다.
• GLA를 심층 SISR 백본에 통합하여 엔드 투 엔드 훈련이 가능하고 특징 융합이 향상된 심층 유연한 유사도 네트워크(DLSN)를 설계한다.
• 시각적 품질 향상과 세부 정보 복원을 위해 인지적 손실과 적대적 손실의 조합을 사용해 모델을 훈련시킨다.
• 초기 유사도가 낮더라도 더 정확한 텍스처를 발견하고 우선시할 수 있도록 학습 가능한 유사도 재가중 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 SISR에서 심하게 손상된 이미지 영역을 복구할 때, 유사도 점수가 낮은 비국소적 텍스처가 고유사도 텍스처보다 더 정확하고 세밀한 정보를 제공할 수 있는가?
• RQ2 훈련 중에 유사도 점수를 재가중하는 방식으로 학습시키는 것이 고정된 유사도 함수를 사용하는 것보다 SISR 성능을 향상시키는가?
• RQ3 비국소 어텐션의 계산 복잡도를 이차에서 선형으로 감소시킬 수 있으며 성능을 유지할 수 있는가?
• RQ4 제안된 GLA 모듈이 기존의 심층 SISR 모델에 일반 목적의 빌딩 블록으로 효과적으로 통합될 수 있는가?
• RQ5 제안된 방법은 흐림, 노이즈, 실세계 아티팩트를 포함한 다양한 왜곡 유형에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 DLSN은 노이즈 왜곡 하에서 ×3 스케일링 조건에서 Set14 데이터셋에서 최신 기술 수준의 성능을 달성했으며, FSRCNN, EDSR, RCAN을 모두 모든 노이즈 수준(10–25)에서 능가한다.
• 노이즈 왜곡 조건에서, DLSN은 노이즈 수준 10일 때 PSNR 28.91/0.7903, 수준 15일 때 28.20/0.7671, 수준 20일 때 27.62/0.7463, 수준 25일 때 27.09/0.7279를 기록하며 모든 기준 모델을 일관되게 능가한다.
• 흐림-스케일 왜곡 조건에서는 정성적 비교에서 가장 시각적으로 매력적인 결과를 생성했으며, EDSR 및 기타 최신 기술 수준 모델보다도 텍스처의 정확도에서 뛰어난 성능을 보였다.
• JPEG 아티팩트가 있는 실세계 역사적 이미지에서, DLSN은 DRLN과 MS-LapSRN이 스트로크 무결성을 유지하지 못하는 상황에서도 날카운 에지와 구조적 세부 정보(예: 문자)를 성공적으로 복원했다.
• GLA 모듈은 고유사도 영역이 오도를 일으킬 수 있는 상황에서도 정보가 풍부한 저유사도 텍스처에 초점을 맞춰, 손상된 머리카락이나 건축 세부 정보를 복구할 수 있도록 한다.
• 비록 강점이 있지만, 입력 영역이 완전히 파손된 경우 모델은 세밀한 세부 정보를 환상적으로 생성하지 못하며, 이는 다른 최신 기술 수준의 SISR 방법들과 공유되는 한계이다.