[論文レビュー] Attention mechanisms and deep learning for machine vision: A survey of the state of the art

Abdul Mueed Hafiz, Shabir A. Parah+1 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本サーベイは、画像認識分野における注目メカニズムとディープラーニングの包括的概要を提供し、視覚変換器（ViTs）と畳み込みニューラルネットワーク（CNNs）のハイブリダイゼーションに焦点を当てる。自己注意（self-attention）、マスク付き注意（masked attention）、マルチヘッド注意（multi-head attention）メカニズムを分析し、画像分類やオブジェクト検出などのタスクにおけるViTのパフォーマンスを評価するとともに、データの過剰依存性と高い計算コストといった主な課題を特定。効率性と正確性のバランスを図るため、ハイブリッドCNN-ViTアーキテクチャの推奨を提唱する。

ABSTRACT

With the advent of state of the art nature-inspired pure attention based models i.e. transformers, and their success in natural language processing (NLP), their extension to machine vision (MV) tasks was inevitable and much felt. Subsequently, vision transformers (ViTs) were introduced which are giving quite a challenge to the established deep learning based machine vision techniques. However, pure attention based models/architectures like transformers require huge data, large training times and large computational resources. Some recent works suggest that combinations of these two varied fields can prove to build systems which have the advantages of both these fields. Accordingly, this state of the art survey paper is introduced which hopefully will help readers get useful information about this interesting and potential research area. A gentle introduction to attention mechanisms is given, followed by a discussion of the popular attention based deep architectures. Subsequently, the major categories of the intersection of attention mechanisms and deep learning for machine vision (MV) based are discussed. Afterwards, the major algorithms, issues and trends within the scope of the paper are discussed.

研究の動機と目的

• 注目メカニズムとその画像認識分野におけるディープラーニング統合に関する体系的レビューを提供すること。
• 従来のCNNベースのモデルと比較して、視覚変換器（ViTs）の長所と短所を分析すること。
• CNNと変換器を組み合わせたハイブリッドアーキテクチャを検討し、両アプローチの利点を活用すること。
• ViTのトレーニングにおけるデータ効率性、トレーニング時間、計算リソース要件といった、未解決の研究課題を特定すること。
• 研究者および実務家が画像認識応用における注目ベースのモデルを効果的に活用できるように導くこと。

提案手法

• 画像認識分野における注目メカニズムとディープラーニングへの応用を分析するため、110篇以上の研究論文をサーベイ。
• クエリ、キー、値を用いて、シーケンス内のすべての要素間の関連性スコアを計算する自己注意（self-attention）を導入。
• 自己回帰的モデリングにおける情報漏洩を防ぐために、三角マスク行列を用いたマスク付き自己注意（masked self-attention）を説明。
• 複数の注目ヘッドを並列に適用することで、多様な依存関係をモデル化できるマルチヘッド注目（multi-head attention）を記述。
• ハイブリッドモデルの3つの主要なカテゴリをレビュー：注目を強化したCNN（例：CBAM）、CNN教師/変換器生徒パイプライン、エンドツーエンドのCNN-変換器アーキテクチャ。
• ネットワークアーキテクチャ探索（NAS）がハイブリッドCNN-変換器探索空間の最適化に果たす役割を評価するが、計算コストの高さにも言及。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、畳み込みニューラルネットワーク（CNNs）の局所的受容野と比較して、視覚変換器（ViTs）がどのようにグローバル特徴をモデル化できるか？
• RQ2 画像認識タスクにおける純粋な視覚変換器とCNNベースのモデルとの間で、パフォーマンスと効率性の主なトレードオフは何か？
• RQ3 CNNと変換器を組み合わせたハイブリッドアーキテクチャは、どのようにして性能を向上させつつ、データと計算リソースの要件を低減できるか？
• RQ4 データ過剰依存性や長時間のトレーニング時間といった、ViTのトレーニングにおける主な未解決課題は何か？
• RQ5 注目メカニズムは、効果的に既存のディープラーニングパイプラインに統合可能か？画像認識システム設計の向上にどのように寄与できるか？

主な発見

• 視覚変換器（ViTs）は、画像分類、オブジェクト検出、セグメンテーション、動画理解などのタスクで、CNNと同等またはそれ以上のパフォーマンスを達成している。
• ViTは非常にデータ依存的であり、強力な結果を得るには、事前学習としてJFT-300Mなどの大規模データセットを用い、その後ImageNet-1Kで微調整する必要がある。
• パフォーマンスは高いが、ViTは顕著に長いトレーニング時間と高い計算リソースを要するため、リソース制限のある環境では実用的でない。
• CNNに注目メカニズムを統合したハイブリッドモデル（例：CBAM）は、計算コストの増加が最小限でパフォーマンス向上を示しており、段階的改善の強力な可能性を示している。
• CNNを特徴抽出器として用い、変換器を分類器として用いる二段階パイプラインは、CNNの特徴表現の品質に強く依存しており、バックボーン設計の重要性を浮き彫りにしている。
• NASを用いたエンドツーエンドのハイブリッドアーキテクチャ（CNNと変換器の統合）は有望ではあるが、依然として計算コストが高く、広範な展開のためのさらなる最適化が求められる。