[論文レビュー] Scattering Vision Transformer: Spectral Mixing Matters

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|Nov 2, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、スペクトル散乱ネットワークと二重木複素ウェーブレット変換（DTCWT）を用いて低周波成分と高周波成分を分離することで、より優れた特徴表現を実現する、新しいビジョントランスフォーマー「Scattering Vision Transformer（SVT）」を提案する。エインシュタイン乗算を用いたスペクトルゲーミングネットワークにより、効率的なトークンおよびチャネル混合を実現し、計算複雑性を低減しながら可逆性を維持し、大規模バージョンでImageNetで85.7%のトップ1精度を達成する。これは最先端の性能である。

ABSTRACT

Vision transformers have gained significant attention and achieved state-of-the-art performance in various computer vision tasks, including image classification, instance segmentation, and object detection. However, challenges remain in addressing attention complexity and effectively capturing fine-grained information within images. Existing solutions often resort to down-sampling operations, such as pooling, to reduce computational cost. Unfortunately, such operations are non-invertible and can result in information loss. In this paper, we present a novel approach called Scattering Vision Transformer (SVT) to tackle these challenges. SVT incorporates a spectrally scattering network that enables the capture of intricate image details. SVT overcomes the invertibility issue associated with down-sampling operations by separating low-frequency and high-frequency components. Furthermore, SVT introduces a unique spectral gating network utilizing Einstein multiplication for token and channel mixing, effectively reducing complexity. We show that SVT achieves state-of-the-art performance on the ImageNet dataset with a significant reduction in a number of parameters and FLOPS. SVT shows 2\% improvement over LiTv2 and iFormer. SVT-H-S reaches 84.2\% top-1 accuracy, while SVT-H-B reaches 85.2\% (state-of-art for base versions) and SVT-H-L reaches 85.7\% (again state-of-art for large versions). SVT also shows comparable results in other vision tasks such as instance segmentation. SVT also outperforms other transformers in transfer learning on standard datasets such as CIFAR10, CIFAR100, Oxford Flower, and Stanford Car datasets. The project page is available on this webpage.\url{https://badripatro.github.io/svt/}.

研究の動機と目的

• ビジョントランスフォーマーにおける自己注意機構の高計算複雑性、特に高解像度での問題に対処すること。
• マックスプーリングなどの非可逆的ダウンサンプリング操作による情報損失を克服すること。
• 低周波成分と高周波成分に分離するスペクトル分解により、細粒度な画像特徴（例：エッジ、ライン）の捉え方を向上させること。
• モデルパラメータ数とFLOPsを削減しながら、画像分類およびセグメンテーションタスクの性能を維持または向上させること。
• DTCWTに基づく散乱ネットワークを用いて、可逆的かつ情報損失のない特徴抽出を実現すること。

提案手法

• 二重木複素ウェーブレット変換（DTCWT）を用いたスペクトル散乱ネットワークを導入し、入力画像を低周波成分（エネルギー）と高周波成分（詳細）に分解する。
• エインシュタイン乗算を用いたスペクトルゲーミングネットワーク（SGN）を適用し、高周波成分における効率的なトークンおよびチャネル混合を実現することで、計算複雑性を低減する。
• 低周波成分に対してテンソルブレンド法（TBM）を採用し、エネルギー集中性とグローバル構造の保持を図る。
• 散乱ネットワークを初期層として用い、深層の注意機構が長距離依存性を捉える前に細粒度特徴を抽出する。
• DTCWTの可逆性を活用し、特徴処理中に情報損失が生じないよう再構成忠実度を確保する。
• スペクトル混合とトランスフォーマー構造を組み合わせ、標準的な自己注意に代わるか、その依存度を低減することで、FLOPsとパラメータ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 DTCWTによるスペクトル分解は、計算複雑性を増加させることなく、ビジョントランスフォーマーにおける細粒度画像特徴の表現を向上させることができるか？
• RQ2 スペクトルゲーティングにおけるエインシュタイン乗算の使用は、標準的な自己注意やMLPミキサーと比較して、FLOPsとモデルサイズをどの程度低減できるか？
• RQ3 DTCWTに基づく散乱ネットワークの可逆性は、フーリエ変換やDWTに基づく代替手法と比較して、情報保持の観点でどの程度優れているか？
• RQ4 スペクトル混合と注目層を組み合わせたハイブリッドアーキテクチャは、パラメータ数とFLOPsを削減しながらも、標準的なビジョントランスフォーマーを上回る精度を達成できるか？
• RQ5 提案手法は、インスタンスセグメンテーションや下流データセットにおける転移学習といった、さまざまなビジョンタスクに一般化可能か？

主な発見

• SVT-H-LはImageNetで85.7%のトップ1精度を達成し、大規模ビジョントランスフォーマーの新記録を樹立した。
• SVT-H-Bも85.2%のトップ1精度を達成し、ベースサイズモデルにおいても新記録を樹立した。
• SVTはLiTv2やiFormerと比較して、ImageNetで2%の性能向上を示した。
• 標準的なビジョントランスフォーマーと比較して、FLOPsとパラメータ数を顕著に削減しながら、精度を維持または向上させた。
• CIFAR10、CIFAR100、Oxford Flowers、Stanford Carsなどのベンチマークにおいて、インスタンスセグメンテーションおよび転移学習タスクで同等の性能を達成した。
• DTCWTに基づく散乱ネットワークは、フーリエ変換やDWTに基づく手法と比較して、優れた可逆性を示し、再構成誤差が低かった。