[論文レビュー] ConvNets vs. Transformers: Whose Visual Representations are More Transferable?
この論文は、類似したトップ-1精度でImageNetで事前学習されたモデルを用いた制御された評価フレームワークにおいて、ConvNetsとビジョントランスフォーマーが学習する視覚的表現の転送性を比較している。結果として、15の下流タスクのうち13つでビジョントランスフォーマーが一貫してConvNetsを上回り、特にドメインシフトの状況やマルチタスク学習において優れた汎化性と頑健性を示している。
Vision transformers have attracted much attention from computer vision researchers as they are not restricted to the spatial inductive bias of ConvNets. However, although Transformer-based backbones have achieved much progress on ImageNet classification, it is still unclear whether the learned representations are as transferable as or even more transferable than ConvNets' features. To address this point, we systematically investigate the transfer learning ability of ConvNets and vision transformers in 15 single-task and multi-task performance evaluations. Given the strong correlation between the performance of pre-trained models and transfer learning, we include 2 residual ConvNets (i.e., R-101x3 and R-152x4) and 3 Transformer-based visual backbones (i.e., ViT-B, ViT-L and Swin-B), which have close error rates on ImageNet, that indicate similar transfer learning performance on downstream datasets. We observe consistent advantages of Transformer-based backbones on 13 downstream tasks (out of 15), including but not limited to fine-grained classification, scene recognition (classification, segmentation and depth estimation), open-domain classification, face recognition, etc. More specifically, we find that two ViT models heavily rely on whole network fine-tuning to achieve performance gains while Swin Transformer does not have such a requirement. Moreover, vision transformers behave more robustly in multi-task learning, i.e., bringing more improvements when managing mutually beneficial tasks and reducing performance losses when tackling irrelevant tasks. We hope our discoveries can facilitate the exploration and exploitation of vision transformers in the future.
研究の動機と目的
- 事前学習条件を制御した状況下で、ビジョントランスフォーマーがConvNetsよりもより転送性の高い視覚的表現を学習するかどうかを調査すること。
- ImageNetからのドメインギャップが異なる多様な下流タスクにおける転移学習のパフォーマンスを評価すること。
- 特にタスクが相互に利益をもたらすか、無関係な場合に、ConvNetsとビジョントランスフォーマーのマルチタスク学習設定における頑健性を比較すること。
- 特に全ネットワークファインチューニングと線形ヘッドファインチューニングの比較において、ビジョントランスフォーマーとConvNetsのファインチューニング要件を分析すること。
- ビジョントランスフォーマーの全体的な転送性の優位性にもかかわらず、依然としてConvNetsに利点を示す下流タスクの状況を同定すること。
提案手法
- 類似したImageNetトップ-1誤差率を持つ事前学習モデルを選択：2種類のResNetバージョン（R-101×3, R-152×4）と3種類のビジョントランスフォーマー（ViT-B, ViT-L, Swin-B）。
- すべてのモデルに対して同一の事前学習およびファインチューニングプロトコルを適用し、公平な比較を確保する。
- 15の下流タスクで評価：10のシングルタスク（例：細分化分類、シーン認識、顔認識）と5のマルチタスク（例：シーン、ドメイン内、オープンドメイン分類の統合）。
- 表現品質の評価に、全ネットワークファインチューニングと線形評価プロトコルの両方を用いる。
- 共有バックボーンとタスク固有のヘッドを用いたマルチタスク学習を実装し、セグメンテーションと分類を同時に実行する。
- 標準的なデータオーグメンテーション（クロップ、フリップ）、交差エントロピー損失、および学習率スケジューリングを適用し、すべてのモデルで一貫した訓練を実現する。
実験結果
リサーチクエスチョン
- RQ1事前学習モデルのImageNet精度が類似している場合、ビジョントランスフォーマーがConvNetsよりもより転送性の高い視覚的表現を学習するのか？
- RQ2ドメインギャップが大きなImageNetからのタスクにおいて、ビジョントランスフォーマーとConvNetsの転移学習パフォーマンスはどのように比較されるか？
- RQ3特にタスクが無関係な場合、マルチタスク学習がConvNetsとビジョントランスフォーマーのパフォーマンスに与える影響は何か？
- RQ4ファインチューニング戦略（全ネットワーク対線形ヘッド）が、ビジョントランスフォーマーのパフォーマンス向上にConvNetsと比較して顕著に影響を与えるか？
- RQ5ビジョントランスフォーマーの全体的な転送性の優位性にもかかわらず、どの下流タスクでConvNetsが依然として利点を示すのか？
主な発見
- ビジョントランスフォーマーは、細分化分類、シーン認識、深度推定、顔認識を含む15の下流タスクのうち13つでConvNetsを上回っている。
- Swin-Bはマルチタスク学習において、Indoor67およびCaltech101の両方で最高のパフォーマンスランクを達成し、強力な頑健性と一般化能力を示している。
- マルチタスク学習でWikiArtと統合する際、ビジョントランスフォーマーはCaltech101でConvNetsと比較して、ほぼ5%の性能低下が小さく抑えられている。
- ViTモデルはパフォーマンス向上を得るために全ネットワークファインチューニングに強く依存しているが、Swin-Bは線形ヘッドファインチューニングでも良好な性能を発揮している。
- 無関係なタスク（例：シーンセグメンテーションとオープンドメイン分類の統合）を組み合わせる際、ビジョントランスフォーマーはConvNetsよりも性能低下をより効果的に抑制している。
- ドメイン内分類と非教師付き画像リtrievalにおいてはConvNetsがわずかな利点を示しているが、これらはビジョントランスフォーマーの広範な転送性の優位性に比べて劣る。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。