[논문 리뷰] BAM: A Balanced Attention Mechanism for Single Image Super Resolution

Fanyi Wang, Haotian Hu외 1명|arXiv (Cornell University)|2021. 04. 15.

Advanced Image Processing Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 단일 이미지 초해상도 분석을 위한 균형 임베딩 주의 메커니즘(BAM)을 제안한다. 이는 평행하게 배치된 평균 풀링 채널 주의 모듈(ACAM)과 최대 풀링 공간 주의 모듈(MSAM)을 결합하여 대규모 특징 맵에서 노이즈를 동시에 억제하고 고주파 질감 세부 정보를 유지한다. BAM은 10개의 최신 기술(SOTA) 네트워크에서 성능을 향상시키며, 파라미터를 줄이고 추론 속도를 높이며, 제안된 realSR7 데이터셋에서 질감이 풍부한 앨리어싱 영역에서 뛰어난 성능을 기록한다.

ABSTRACT

Recovering texture information from the aliasing regions has always been a major challenge for Single Image Super Resolution (SISR) task. These regions are often submerged in noise so that we have to restore texture details while suppressing noise. To address this issue, we propose a Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. ACAM is designed to suppress extreme noise in the large scale feature maps while MSAM preserves high-frequency texture details. Thanks to the parallel structure, these two modules not only conduct self-optimization, but also mutual optimization to obtain the balance of noise reduction and high-frequency texture restoration during the back propagation process, and the parallel structure makes the inference faster. To verify the effectiveness and robustness of BAM, we applied it to 10 SOTA SISR networks. The results demonstrate that BAM can efficiently improve the networks performance, and for those originally with attention mechanism, the substitution with BAM further reduces the amount of parameters and increases the inference speed. Moreover, we present a dataset with rich texture aliasing regions in real scenes, named realSR7. Experiments prove that BAM achieves better super-resolution results on the aliasing area.

연구 동기 및 목표

• 단일 이미지 초해상도(SISR)에서 노이즈에 묻힌 앨리어징 영역에서의 질감 세부 정보 복원 문제를 해결한다.
• 특징 학습 과정에서 노이즈 억제와 고주파 질감 유지 간의 균형을 이루는 메커니즘을 개발한다.
• 추론 속도를 향상시키고 모델 파라미터를 감소시키는 경량이며 평행 구조의 주의 모듈을 설계한다.
• 10개의 최신 기술 SISR 네트워크에서 이 메커니즘을 검증하여 일반화성과 강건성을 입증한다.
• 어려운 시나리오에서 성능 평가를 더 잘 하기 위해 질감 앨리어징 영역이 풍부한 새로운 실세계 데이터셋 realSR7을 구축한다.

제안 방법

• ACAM과 MSAM을 평행하게 조합한 아키텍처를 제안하여 공동 최적화를 달성한다.
• ACAM을 사용해 전역 평균 풀링과 학습 가능한 주의 가중치를 통해 대규모 특징 맵에서 극단적 노이즈를 억제한다.
• MSAM을 활용해 최대 풀링과 공간 주의를 통해 두드러진 영역을 강조함으로써 고주파 질감 세부 정보를 유지한다.
• 역전파 과정에서 상호 및 자기 최적화를 가능하게 하여 노이즈 감소와 질감 복원 간의 균형을 확보한다.
• 기존 SISR 네트워크에 아키텍처 변경 없이 BAM을 플러그인 모듈로 통합하여 호환성과 효율성을 확보한다.
• 표준 역전파를 사용해 주 네트워크와 함께 주의 모듈을 종단 간(end-to-end)으로 훈련 및 미세 조정한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 주의 메커니즘이 SISR에서 노이즈 억제와 고주파 질감 복원 간의 균형을 효과적으로 달성할 수 있는가?
• RQ2 ACAM과 MSAM의 평행 설계가 순차적 또는 스택형 주의와 비교해 훈련 중 최적화 역학을 어떻게 향상시키는가?
• RQ3 BAM은 복잡한 앨리어징과 질감 열화를 동반한 실세계 이미지에서 성능을 얼마나 향상시키는가?
• RQ4 BAM은 기존 SOTA SISR 네트워크에서 모델 파라미터와 추론 시간을 줄이며 성능을 향상시키는가?
• RQ5 BAM은 질감 앨리어징 영역가 풍부한 새로 구축된 데이터셋 realSR7에서 어떻게 성능을 발휘하는가?

주요 결과

• BAM은 벤치마크 데이터셋에서 10개의 최신 기술 SISR 네트워크 성능을 크게 향상시켜 PSNR와 SSIM 모두 높은 수준을 기록한다.
• 원래 주의 메커니즘을 사용하는 네트워크의 경우 BAM으로 교체함으로써 모델 파라미터를 감소시키고 추론 속도를 증가시킨다.
• realSR7 데이터셋에서 BAM은 기준 방법 대비 앨리어징 영역 내 질감 세부 정보 복원에서 뛰어난 성능을 기록한다.
• BAM의 평행 구조는 ACAM과 MSAM 간 효과적인 상호 최적화를 가능하게 하여 역전파 과정에서 특징 표현을 향상시킨다.
• 실험 결과, BAM은 다양한 SISR 아키텍처와 실세계 이미지 조건에서 강건하고 일반화 가능함을 확인한다.