[論文レビュー] RaftMLP: Do MLP-based Models Dream of Winning Over Computer Vision?

Yuki Tatsunami, Masato Taki|arXiv (Cornell University)|Aug 9, 2021

Advanced Neural Network Applications参考文献 35被引用数 8

ひとこと要約

RaftMLPは、縦方向および横方向のトークンミキシングとチャネル間の密な空間的相関を導入することで、構造的なインダクティブバイアスを組み込む新しいMLPベースのアーキテクチャを提案する。これにより、MLP-Mixer や他のMLPベースのモデルと比較して、パラメータ数を減らし、計算コストを低く抑えながらも、より高い精度を達成する。視覚タスクにおけるCNNの置き換えの強力な可能性を示している。

ABSTRACT

For the past ten years, CNN has reigned supreme in the world of computer vision, but recently, Transformer is on the rise. However, the quadratic computational cost of self-attention has become a severe problem of practice. There has been much research on architectures without CNN and self-attention in this context. In particular, MLP-Mixer is a simple idea designed using MLPs and hit an accuracy comparable to the Vision Transformer. However, the only inductive bias in this architecture is the embedding of tokens. Thus, there is still a possibility to build a non-convolutional inductive bias into the architecture itself, and we built in an inductive bias using two simple ideas. A way is to divide the token-mixing block vertically and horizontally. Another way is to make spatial correlations denser among some channels of token-mixing. With this approach, we were able to improve the accuracy of the MLP-Mixer while reducing its parameters and computational complexity. Compared to other MLP-based models, the proposed model, named RaftMLP has a good balance of computational complexity, the number of parameters, and actual memory usage. In addition, our work indicates that MLP-based models have the potential to replace CNNs by adopting inductive bias. The source code in PyTorch version is available at \url{this https URL}.

研究の動機と目的

• MLP-Mixerの限界、特にトークン埋め込み以外に強いインダクティブバイアスを欠いている点を是正すること。
• CNN や自己注意機構を用いずに、MLPベースのビジョンモデルにおける精度と効率を向上させること。
• 構造的なアーキテクチャ的インダクティブバイアスが、純粋なMLPベースのビジョンモデルの性能向上に寄与するかどうかを検証すること。
• 既存のMLPベースのモデルと比較して、モデルの複雑さ、パラメータ数、メモリ使用量のバランスを改善すること。

提案手法

• 特徴マップを縦方向および横方向に分割することで、空間的依存関係をよりよく捉えるように変更されたトークンミキシングブロックを導入する。
• トークンミキシングブロック内で、一部のチャネルに対して密な空間的相関を適用し、局所的特徴相互作用を強化する。
• 空間次元を別々に処理する2本のブランチ構造をトークンミキシングブロックに設計し、インダクティブバイアスを強化する。
• すべてのトークンに共通のMLPヘッドを用いることで、パラメータ効率を維持しつつ、グローバルな特徴ミキシングを可能にする。
• 2段階のアーキテクチャを採用：まずチャネル単位のMLPを適用し、その後にインダクティブバイアスを組み込んだ空間的構造化トークンミキシングブロックを適用する。
• FLOPsとパラメータ数の両方を削減することで、モデルの効率を最適化し、高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 MLPベースのモデルに構造的なインダクティブバイアスを導入することで、視覚タスクにおける性能向上が図れるか？
• RQ2 トークンミキシングブロックにおける縦方向／横方向の分割が、精度と計算効率に与える影響は？
• RQ3 選択されたチャネル間におけるより密な空間的相関が、MLPベースのモデルにおける特徴表現をどの程度向上させるか？
• RQ4 提案されたRaftMLPアーキテクチャは、MLP-Mixer や他のMLPベースのモデルと比較して、より優れた精度-複雑さトレードオフを達成できるか？
• RQ5 アーキテクチャ的インダクティブバイアスを備えることで、MLPベースのモデルはコンピュータビジョン分野でCNNを効果的に置き換えることができるか？

主な発見

• RaftMLPは、標準的なビジョンベンチマークにおいて、MLP-Mixer よりも高い精度を達成するとともに、パラメータ数を削減した。
• MLP-Mixer や他の最先端のMLPベースのモデルと比較して、計算複雑度（FLOPs）が低く抑えられている。
• 縦方向／横方向の分割と密な空間的相関の導入により、モデルサイズを増大させることなく特徴学習が向上した。
• RaftMLPは、モデルサイズ、推論速度、メモリ使用量のバランスに優れており、既存のMLPベースのアーキテクチャと比較して、効率性において優れている。
• 結果から、適切なインダクティブバイアスを備えることで、MLPベースのモデルが視覚タスクにおいてCNNを効果的に置き換えることができる可能性が示唆された。