[論文レビュー] Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice

Peihao Wang, Wenqing Zheng+2 more|arXiv (Cornell University)|Mar 9, 2022

CCD and CMOS Imaging Sensors被引用数 45

ひとこと要約

この論文はVision Transformerをフーリエ領域で分析し、自己注意は深さを損なう低域通過フィルターとして作用することを示し、AttnScaleとFeatScaleを導入して高周波情報を回復させ、ViTのバリアント全体で一貫した精度向上をもたらす。

ABSTRACT

Vision Transformer (ViT) has recently demonstrated promise in computer vision problems. However, unlike Convolutional Neural Networks (CNN), it is known that the performance of ViT saturates quickly with depth increasing, due to the observed attention collapse or patch uniformity. Despite a couple of empirical solutions, a rigorous framework studying on this scalability issue remains elusive. In this paper, we first establish a rigorous theory framework to analyze ViT features from the Fourier spectrum domain. We show that the self-attention mechanism inherently amounts to a low-pass filter, which indicates when ViT scales up its depth, excessive low-pass filtering will cause feature maps to only preserve their Direct-Current (DC) component. We then propose two straightforward yet effective techniques to mitigate the undesirable low-pass limitation. The first technique, termed AttnScale, decomposes a self-attention block into low-pass and high-pass components, then rescales and combines these two filters to produce an all-pass self-attention matrix. The second technique, termed FeatScale, re-weights feature maps on separate frequency bands to amplify the high-frequency signals. Both techniques are efficient and hyperparameter-free, while effectively overcoming relevant ViT training artifacts such as attention collapse and patch uniformity. By seamlessly plugging in our techniques to multiple ViT variants, we demonstrate that they consistently help ViTs benefit from deeper architectures, bringing up to 1.1% performance gains "for free" (e.g., with little parameter overhead). We publicly release our codes and pre-trained models at https://github.com/VITA-Group/ViT-Anti-Oversmoothing.

研究の動機と目的

• ViTsが深くなるにつれて飽和または性能が低下する理由を動機づけ、理解する。
• ViTの特徴と自己注意を分析するスペクトル領域フレームワークを構築する。
• ViTsにおける過度な平滑化を抑制するための、ハイパーパラメータ不要の2つの効率的な手法を提案する。
• 提案手法が複数のバックボーンに跨ってより深いViTモデルで安定した利得をもたらすことを実証する。

提案手法

• ViTを自己注意ブロックの列として定式化し、フーリエ領域で解析する。
• 自己注意が入力トークンやクエリ／キー行列に依存せず低域通過フィルターとして作用することを証明する（定理1）。
• AttnScaleを導入し、注意を低周波成分と高周波成分に分解して高周波残差を再加重することで全通過（all-pass）挙動を達成する（式7-9）。
• FeatScaleを導入し、フーリエ変換を明示的に行わずに特徴マップのDC成分と高周波成分を再加重して高周波情報を保持する（式10-12）。
• AttnScaleとFeatScaleは軽量でハイパーパラメータフリーで、さまざまなViTバリアントに適用可能であると主張する。
• DeiT、CaiT、Swinバックボーン全体で一貫した利得を示す実証的検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 なぜViTの性能は深くなるにつれて飽和または低下するのか？
• RQ2 フーリエ領域分析はViTにおける注意機構による平滑化の背後にあるメカニズムを示せるか？
• RQ3 注意マップや特徴マップの軽量スケーリング手法は過度の平滑化を抑制し、より深いViTを可能にするか？
• RQ4 AttnScaleとFeatScaleは追加のハイパーパラメータなしで異なるViTアーキテクチャ間で転用可能か？
• RQ5 これらの手法を標準的なVision Transformerバリアントに適用した場合の実用上の精度向上はどれくらいか？

主な発見

• 自己注意のカスケードは深さが増すにつれて高周波情報を侵食する低域濾波器として機能する。
• AttnScaleは低周波成分と高周波成分に分解して高周波残差を再加重することで実効的な注意を全通過フィルタへと転換できる。
• FeatScaleは特徴マップレベルでDC成分と高周波成分を再加重し、高周波情報を保持する。
• いずれの手法も軽量・ハイパーパラメータフリーで、DeiT、CaiT、Swinバックボーンと互換性がある。
• 実証結果は、評価対象モデルで追加パラメータなしにImageNetで最大1.1%の精度向上を示す。
• 他の従来手法と比較して、AttnScaleとFeatScaleは再注意化やLayerScaleといった手法よりも報告される利得で上回っている。