[論文レビュー] FcaNet: Frequency Channel Attention Networks

Zequn Qin, Pengyi Zhang+2 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Neural Network Applications参考文献 45被引用数 37

ひとこと要約

FcaNetは、2D-DCTを用いて複数の周波数成分でチャネルを圧縮することでチャネル注意を拡張し、GAPはDCTの特殊ケースであることを示し、追加パラメータやコストなしでImageNetとCOCOで最先端の結果を達成。

ABSTRACT

Attention mechanism, especially channel attention, has gained great success in the computer vision field. Many works focus on how to design efficient channel attention mechanisms while ignoring a fundamental problem, i.e., channel attention mechanism uses scalar to represent channel, which is difficult due to massive information loss. In this work, we start from a different view and regard the channel representation problem as a compression process using frequency analysis. Based on the frequency analysis, we mathematically prove that the conventional global average pooling is a special case of the feature decomposition in the frequency domain. With the proof, we naturally generalize the compression of the channel attention mechanism in the frequency domain and propose our method with multi-spectral channel attention, termed as FcaNet. FcaNet is simple but effective. We can change a few lines of code in the calculation to implement our method within existing channel attention methods. Moreover, the proposed method achieves state-of-the-art results compared with other channel attention methods on image classification, object detection, and instance segmentation tasks. Our method could consistently outperform the baseline SENet, with the same number of parameters and the same computational cost. Our code and models will are publicly available at https://github.com/cfzd/FcaNet.

研究の動機と目的

• チャネル注意をチャネル圧縮問題として再定義する。
• DCTを用いて GAP を多周波数成分へ一般化する。
• 柔軟な周波数選択基準を持つマルチスペクトルチャネル注意 (MSCA) フレームワークを提案する。
• MSCAがSENetと同じパラメータ数・計算量で、画像分類・物体検出・インスタンス分割の性能を向上させることを実証する。

提案手法

• 2D DCTを用いた周波数ベースの圧縮により各チャネルをスカラーで表現する。
• Global Average Pooling (GAP) が最低周波数のDCT成分に対応することを示す（特殊ケース）。
• チャネルを分割し、各にDCT周波数成分を割り当て、結果を連結してマルチスペクトル圧縮ベクトル（Freq）を形成する。
• Sigmoid(fc(Freq))を用いて注意を計算しチャネルを再重み付けする。
• 三つの周波数選択基準を提案する: LF（低周波数）, TS（2段階選択）, NAS（ニューラルアーキテクチャ探索）。
• SENetと比較して同一パラメータ数・オーバーヘッドを維持するために、事前計算済みDCT基底関数を使用する。

実験結果

リサーチクエスチョン

• RQ1 チャネル注意を周波数領域の圧縮問題として効果的に再定義できるか？
• RQ2 複数のDCT周波数成分を取り入れると、GAPベースのアプローチよりチャネルごとの特徴表現が改善されるか？
• RQ3 異なる周波数成分選択戦略（LF, TS, NAS）は視覚タスク全般で性能にどのように影響するか？
• RQ4 提案するMSCAフレームワークはSENetと同じ計算予算でImageNet分類とCOCO検出/セグメンテーションを改善できるか？

主な発見

• マルチスペクトルチャネル注意（MSCA）は分類・検出タスクを通じてGAPベースのSENetを一貫して上回る。
• 複数のDCT周波数成分を用いると、単一成分のGAPより特徴圧縮が良くなり精度が高まる。
• 低周波成分は一般に有効だが、より広い周波数のセットを含めると顕著な向上をもたらす（特定の設定で2または16成分を使用）。
• 三つの選択スキーム（LF, TS, NAS）は周波数成分選択の柔軟なオプションを提供し、TSは実用的なTop-K選択を、NASは学習された成分選択を可能にする。
• MSCAはSENetと比較して同じパラメータ数・計算オーバーヘッドを維持しつつ、ImageNetおよびCOCOベンチマークで最先端の結果を達成する。