[論文レビュー] MorphMLP: A Self-Attention Free, MLP-Like Backbone for Image and Video

David Junhao Zhang, Kunchang Li+6 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 72被引用数 8

ひとこと要約

MorphMLPは、可変フィルタを備えた新規なMorphFC層を用いて、初期層では局所的特徴抽出を強化し、深層に進むにつれて徐々に長距離モデリングへと移行する、自己注意機構を不要とするMLP型バックボーンを提案する。画像および動画タスクにおいて、自己注意ベースのモデルと同等またはそれ以上の性能を達成する。

ABSTRACT

Self-attention has become an integral component of the recent network architectures, e.g., Transformer, that dominate major image and video benchmarks. This is because self-attention can flexibly model long-range information. For the same reason, researchers make attempts recently to revive Multiple Layer Perceptron (MLP) and propose a few MLP-Like architectures, showing great potential. However, the current MLP-Like architectures are not good at capturing local details and lack progressive understanding of core details in the images and/or videos. To overcome this issue, we propose a novel MorphMLP architecture that focuses on capturing local details at the low-level layers, while gradually changing to focus on long-term modeling at the high-level layers. Specifically, we design a Fully-Connected-Like layer, dubbed as MorphFC, of two morphable filters that gradually grow its receptive field along the height and width dimension. More interestingly, we propose to flexibly adapt our MorphFC layer in the video domain. To our best knowledge, we are the first to create a MLP-Like backbone for learning video representation. Finally, we conduct extensive experiments on image classification, semantic segmentation and video classification. Our MorphMLP, such a self-attention free backbone, can be as powerful as and even outperform self-attention based models.

研究の動機と目的

• 既存のMLP型アーキテクチャが局所的詳細を捉えることや、徐々に画像／動画特徴を理解することに限界を示す問題に対処すること。
• 自己注意機構を不要とするバックボーンを設計し、画像および動画における局所的および長距離依存関係を効果的にモデル化すること。
• 空間次元に沿って受容 field を段階的に拡大できる可変フィルタを備えた新規な完全結合型層（MorphFC）を提案すること。
• MorphMLPアーキテクチャを動画表現学習に拡張し、動画用のMLP型バックボーンとして初めて実現すること。
• 画像および動画ベンチマークにおいて、自己注意ベースのモデルと同等または優れた性能を達成すること。

提案手法

• ネットワークの深さに応じて、高さおよび幅方向に受容 field を動的に拡大する2つの可変フィルタを備えたMorphFC層を導入すること。
• 初期層では局所的特徴抽出を重視し、深層に進むにつれて長距離モデリングへと移行するようにMorphFC層を設計すること。
• 空間的モーフィングを時間次元へと拡張することで、動画ドメインにおけるMorphFC層の柔軟な適応を可能にすること。
• 自己注意機構を一切使用しない形で、スタックされたMorphFC層から構成される完全なMorphMLPアーキテクチャを構築すること。
• 画像および動画分類、セマンティックセグメンテーション、その他のベンチマークにおいて、MorphMLPをエンドツーエンドで学習すること。
• 動画タスクにおける表現能力を維持するため、空間的および時間的特徴統合戦略を採用すること。

実験結果

リサーチクエスチョン

• RQ1 MLP型アーキテクチャは、初期層で局所的詳細を効果的に捉えつつ、深層に進むにつれて段階的に長距離依存関係をモデリングできるか？
• RQ2 自己注意機構を不要とするMorphMLPバックボーンは、画像および動画理解タスクにおいて、注意ベースのモデルと比較してどの程度の性能を示すか？
• RQ3 MorphFC層は動画表現学習に柔軟に適応可能であり、時空間的モデリングにおいても高い性能を維持できるか？
• RQ4 MorphFCに組み込まれた可変フィルタ機構は、標準的なMLPまたは完全結合層よりも優れた特徴学習を可能にするか？
• RQ5 MorphMLPは自己注意機構を一切使用せずに、画像および動画ベンチマークでSOTAまたは競争力のある結果を達成できるか？

主な発見

• MorphMLPは、画像分類ベンチマークにおいて、自己注意ベースのモデルと同等またはそれ以上の性能を達成した。
• セマンティックセグメンテーションタスクにおいても優れた性能を示し、局所的およびグローバルな特徴学習の有効性を裏付けた。
• 動画分類においても競争力ある結果を達成し、動画表現学習用のMLP型バックボーンとして初めて実現した。
• MorphFC層は初期層で局所的詳細を効果的に捉え、深層に進むにつれて長距離モデリングへと自然に移行した。
• 動画ドメインにおけるMorphFC層の柔軟な適応により、自己注意機構を一切使用せずに、効果的な時空間的特徴学習が可能となった。
• 広範なアブレーションスタディにより、可変フィルタ設計および段階的モデリング戦略の有効性が確認された。