[논문 리뷰] FcaNet: Frequency Channel Attention Networks

Zequn Qin, Pengyi Zhang외 2명|arXiv (Cornell University)|2020. 12. 22.

Advanced Neural Network Applications참고 문헌 45인용 수 37

한 줄 요약

FcaNet은 2D-DCT를 통해 다중 주파수 성분으로 채널을 압축함으로써 채널 어텐션을 확장하고, GAP가 DCT의 특수한 경우임을 보여주며 추가 매개변수나 비용 없이 ImageNet과 COCO에서 최첨단 성능을 달성합니다.

ABSTRACT

Attention mechanism, especially channel attention, has gained great success in the computer vision field. Many works focus on how to design efficient channel attention mechanisms while ignoring a fundamental problem, i.e., channel attention mechanism uses scalar to represent channel, which is difficult due to massive information loss. In this work, we start from a different view and regard the channel representation problem as a compression process using frequency analysis. Based on the frequency analysis, we mathematically prove that the conventional global average pooling is a special case of the feature decomposition in the frequency domain. With the proof, we naturally generalize the compression of the channel attention mechanism in the frequency domain and propose our method with multi-spectral channel attention, termed as FcaNet. FcaNet is simple but effective. We can change a few lines of code in the calculation to implement our method within existing channel attention methods. Moreover, the proposed method achieves state-of-the-art results compared with other channel attention methods on image classification, object detection, and instance segmentation tasks. Our method could consistently outperform the baseline SENet, with the same number of parameters and the same computational cost. Our code and models will are publicly available at https://github.com/cfzd/FcaNet.

연구 동기 및 목표

• 채널 어텐션을 채널 압축 문제로 재정의한다.
• GAP에서 DCT를 사용한 다중 주파수 성분으로 채널 어텐션을 일반화한다.
• 유연한 주파수 선택 기준을 가진 다스펙트럼 채널 어텐션(MSCA) 프레임워크를 제안한다.
• SENet과 동일한 매개변수 수와 계산량을 유지하면서 이미지 분류, 객체 탐지 및 인스턴스 분할에서 MSCA가 성능 향상을 내는 것을 입증한다.

제안 방법

• 각 채널을 2D DCT를 이용한 주파수 기반 압축으로 스칼라로 표현한다.
• 글로벌 평균 풀링(GAP)이 가장 낮은 주파수의 DCT 구성요소에 해당하는 특수한 경우임을 보인다.
• 채널을 부분으로 분할하고 각 부분에 DCT 주파수 구성요소를 할당한 다음 결과를 연결하여 다스펙트럼 압축 벡터(Freq)를 형성한다.
• 채널의 가중치를 다시 부여하기 위해 sigmoid(fc(Freq))를 사용하여 주의(어텐션)를 계산한다.
• 세 가지 주파수 선택 기준을 제안한다: LF(저주파수), TS(두 단계 선택), NAS(신경망 아키텍처 검색).
• 사전 계산된 DCT 기저 함수를 사용하여 SENet와 동일한 매개변수 수와 무시할 수 있는 오버헤드를 유지한다.

실험 결과

연구 질문

• RQ1 채널 어텐션을 주파수 도메인 압축 문제로 효과적으로 재정의할 수 있는가?
• RQ2 다중 DCT 주파수 구성요소를 도입하는 것이 GAP 기반 접근법보다 채널 단위 특징 표현을 개선하는가?
• RQ3 다양한 주파수 구성요소 선택 전략(LF, TS, NAS)이 비전 작업 전반에 걸쳐 성능에 어떤 영향을 미치는가?
• RQ4 제안된 MSCA 프레임워크가 SENet과 동일한 계산 예산으로 ImageNet 분류 및 COCO 검출/분할을 개선할 수 있는가?

주요 결과

• 다스펙트럼 채널 어텐션(MSCA)은 분류 및 탐지 작업 전반에서 GAP 기반 SENet을 일관되게 능가한다.
• 다중 DCT 주파수 구성요소를 사용하는 것이 단일 구성요소 GAP보다 더 나은 특징 압축과 더 높은 정확도를 제공한다.
• 저주파수 구성요소가 일반적으로 효과적이지만 더 넓은 주파수 집합을 포함하면 주목할 만한 이득이 생긴다(특정 구성에서 2개 또는 16개 구성요소 포함 시 특히 그렇다).
• 세 가지 선택 스킴(LF, TS, NAS)은 주파수 구성요소 선택에 유연한 옵션을 제공하며, TS는 실용적인 Top-K 기반 선택을, NAS는 학습 가능한 구성요소 선택을 가능하게 한다.
• MSCA는 SENet과 동일한 매개변수 수와 무시할 수 있는 계산 오버헤드를 유지하면서 ImageNet 및 COCO 벤치마크에서 최첨단 결과를 달성한다.