[論文レビュー] Transformers Meet Visual Learning Understanding: A Comprehensive Review

Yuting Yang, Licheng Jiao+5 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Neural Network Applications被引用数 21

ひとこと要約

A comprehensive survey of Transformer-based models in image and video understanding, detailing attention mechanisms, visual Transformer modules, backbone/neck designs, and performance trends across image classification, detection, segmentation, tracking, and video classification.*

ABSTRACT

Dynamic attention mechanism and global modeling ability make Transformer show strong feature learning ability. In recent years, Transformer has become comparable to CNNs methods in computer vision. This review mainly investigates the current research progress of Transformer in image and video applications, which makes a comprehensive overview of Transformer in visual learning understanding. First, the attention mechanism is reviewed, which plays an essential part in Transformer. And then, the visual Transformer model and the principle of each module are introduced. Thirdly, the existing Transformer-based models are investigated, and their performance is compared in visual learning understanding applications. Three image tasks and two video tasks of computer vision are investigated. The former mainly includes image classification, object detection, and image segmentation. The latter contains object tracking and video classification. It is significant for comparing different models' performance in various tasks on several public benchmark data sets. Finally, ten general problems are summarized, and the developing prospects of the visual Transformer are given in this review.

研究の動機と目的

• Attention mechanisms が視覚学習タスクにおける Transformer の性能を支える仕組みを評価する。
• バックボーン・エンコーダ/デコーダ、位置エンコーディングを含む、コアな視覚的 Transformer アーキテクチャとモジュール設計を要約する。
• Transformer ベースの手法を画像分類、物体検出、セマンティックセグメンテーション、追跡、動画分類にわたって調査する。
• 公開ベンチマークでの性能を比較し、現在の課題と今後の方向性を概説する。

提案手法

• チャンネル、空間、時系列、ブランチなどのアテンション機構のスペクトラムと、それらが Transformers における役割を検討する。
• 自己注意、マルチヘッド注意、FFN、位置エンコーディングなど、コアとなる視覚的 Transformer モジュールのアーキテクチャと計算複雑性を説明する。
• Swin、CSWin、PVT、CrossFormer などの Transformer バックボーンを列挙し、階層性、窓付き/局所注意、クロススケールといった設計原理を論じる。
• 画像タスク（分類、検出、セグメンテーション）および動画タスク（追跡、動画分類）に関する Transformer ベースの手法を、公開データセットでの性能比較とともに要約する。
• データ効率と精度に影響を与える事前学習戦略（ViT、iGPT、DeiT、CrossViT など）を強調する。

実験結果

リサーチクエスチョン

• RQ1 視覚的 Transformer で用いられる主なアテンション機構は何か、それらは画像および動画タスクの性能にどう影響するか。
• RQ2 画像分類、検出、セグメンテーションのために Transformer バックボーンとモジュール設計はどのように進化してきたか。
• RQ3 標準データセットでの Transformer ベースの視覚学習法の現在の性能動向とベンチマーク結果はどうか。
• RQ4 Transformer ベースの視覚学習が直面する十の公開課題や未解決問題は何か、それらはどう解決できるか。
• RQ5 視覚におけるデータ効率と高精度を実現する事前学習戦略は何か。

主な発見

• Transformer ベースの手法は、画像分類、検出、セグメンテーション、追跡、動画分類の全領域で最先端または競合的な結果を達成している。
• Swin、CSWin、PVT、CrossFormer などの顕著なバックボーンは、階層的・窓付き・クロススケールのアテンションを導入し、精度と計算コストのバランスを取っている。
• 事前学習戦略（ViT、iGPT、DeiT、CrossViT など）は、ImageNet や COCO のベンチマークで見られるように、データ効率と下流の性能に大きな影響を与える。
• 本レビューは公開ベンチマークでのタスク間の性能比較を提供し、研究者が実験的選択を行う際の補助となる。
• 著者らは視覚的学習における Transformer 研究の今後の方向性と課題を ten general challenges として要約し、将来の研究の指針を提案する。