[논문 리뷰] BAM: A Lightweight and Efficient Balanced Attention Mechanism for Single Image Super Resolution.

Fanyi Wang, Haotian Hu외 1명|arXiv (Cornell University)|2021. 04. 15.

Advanced Image Processing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR)를 위한 경량이고 효율적인 균형 임베딩 메커니즘인 BAM을 제안한다. 이는 평행하게 연결된 평균 풀링 채널 주의 모듈(ACAM)과 최대 풀링 공간 주의 모듈(MSAM)을 결합하여 상호 최적화를 가능하게 한다. BAM은 12개의 SISR 네트워크에서 성능을 향상시키며, 파라미터를 줄이고 추론 속도를 높여, 아키텍처 수정 없이도 기능을 수행한다.

ABSTRACT

Attention mechanism has shown enormous potential for single image super-resolution (SISR). However, existing works only proposed some attention mechanism for a specific network. A universal attention mechanism for SISR, which could further improve the performance of networks without attention and provide a baseline for networks with attention, is still lacking. To fit this gap, we propose a lightweight and efficient Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. The information extraction mechanism of ACAM and MSAM effectively filters redundant information, making the overall structure of BAM very lightweight. Owing to the parallel structure, during the gradient backpropagation process of BAM, ACAM and MSAM not only conduct self-optimization, but also mutual optimization so as to generate more balanced attention information. To verify the effectiveness and robustness of BAM, we applied it to 12 state-ofthe-art SISR networks. The results on 4 benchmark datasets demonstrate that BAM can efficiently improve the networks' performance, and for those with attention, the substitution with BAM further reduces the amount of parameters and increase the inference speed. Moreover, ablation experiments were conducted to prove the minimalism of BAM.

연구 동기 및 목표

• 주의 모듈이 탑재된 네트워크와 그렇지 않은 네트워크 모두에 적용 가능한 통합형 경량 주의 메커니즘의 부족을 해결한다.
• 모델 복잡도를 증가시키지 않고 특징 표현을 향상시키는 주의 모듈을 개발한다.
• 플러그 앤 플레이 설계를 통해 다양한 SISR 아키텍처에서 호환성과 성능 향상을 보장한다.
• 계산 비용을 최소화하면서 초해상도 작업에서 성능 향상을 극대화한다.
• 주의 모듈이 있거나 없거나 상관없이 향후 SISR 모델을 위한 강력하고 파라미터 효율적인 기준을 제공한다.

제안 방법

• 채널 주의를 위한 채널 간 종속성과 전반적 맥락을 캡처하기 위해 ACAM에서 평균 풀링을 사용하고, 공간 주의를 위한 중요한 공간적 위치를 강조하기 위해 MSAM에서 최대 풀링을 사용하는 평행 아키텍처를 제안한다.
• ACAM에서 평균 풀링을 사용하여 채널 간 종속성과 전반적 맥락을 캡처한다.
• MSAM에서 최대 풀링을 사용하여 공간적 특징을 강조하고 중요한 공간 위치를 부각시킨다.
• ACAM과 MSAM이 상호로 주의 맵을 정교화할 수 있도록, 역전파 동안 공동 최적화를 가능하게 한다.
• 기존 SISR 네트워크에 통합하기 적합한 최소한의 추가 파라미터를 가진 경량 모듈로 BAM을 설계한다.
• 12개의 최첨단 SISR 네트워크에 BAM을 플러그인 모듈로 적용하여 일반화 능력과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 기존 주의 설계와 관계없이 다양한 SISR 네트워크에서 성능을 향상시키는 통합형 주의 메커니즘을 설계할 수 있는가?
• RQ2 ACAM과 MSAM의 평행 조합이 순차적 또는 단일 브랜치 메커니즘보다 더 균형 잡히고 효과적인 주의 학습을 이끌 수 있는가?
• RQ3 BAM은 성능을 유지하거나 향상시키면서 모델 파라미터와 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 SISR 네트워크 내 기존 주의 모듈을 대체할 경우 BAM의 성능은 어떠한가?
• RQ5 BAM의 모델 복잡도에 미치는 영향는 최소한이며, 다양한 벤치마크에서 효율성을 유지하는가?

주요 결과

• BAM은 4개의 벤치마크 데이터셋에서 12개의 최첨단 SISR 네트워크에서 일관되게 성능을 향상시켜 뛰어난 일반화 능력을 입증한다.
• 기존 주의 모듈을 대체할 경우, BAM은 모델 파라미터를 줄이고 추론 속도를 높여 효율성이 향상됨을 나타낸다.
• 제거 실험을 통해 BAM의 단순성과 효율성을 확인하였으며, ACAM과 MSAM의 평행 구조가 낮은 계산 오버헤드로 높은 성능을 달성함을 입증한다.
• 역전파 동안 ACAM과 MSAM 간의 상호 최적화는 개별 모듈보다 더 균형 잡히고 효과적인 주의 맵을 생성한다.
• 구조적 수정 없이도 성능 향상을 달성하여, 주의 모듈이 있거나 없는 SISR 모델에 대한 실용적인 플러그 앤 플레이 기준이 된다.
• 다양한 네트워크 아키텍처에서 강건하게 작동하여, 다양한 SISR 환경에서의 적응성과 효과성을 입증한다.