[論文レビュー] Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning

Weicong Liang, Yuhui Yuan+7 more|arXiv (Cornell University)|Oct 3, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、事前学習済みモデルにトークンクラスタリングおよび再構成層を挿入することで、微調整を伴わない非パrametricな手法を提案し、密度予測タスクにおける大規模なビジョン変換器の高速化を実現する。FLOPsを30%削減し、推論速度を40%向上させる一方で、ADE20Kで元の性能の99.5%を維持する。再訓練なしに、物体検出、セグメンテーション、深度推定のあらゆるタスクに強く一般化する。

ABSTRACT

Vision transformers have recently achieved competitive results across various vision tasks but still suffer from heavy computation costs when processing a large number of tokens. Many advanced approaches have been developed to reduce the total number of tokens in large-scale vision transformers, especially for image classification tasks. Typically, they select a small group of essential tokens according to their relevance with the class token, then fine-tune the weights of the vision transformer. Such fine-tuning is less practical for dense prediction due to the much heavier computation and GPU memory cost than image classification. In this paper, we focus on a more challenging problem, i.e., accelerating large-scale vision transformers for dense prediction without any additional re-training or fine-tuning. In response to the fact that high-resolution representations are necessary for dense prediction, we present two non-parametric operators, a token clustering layer to decrease the number of tokens and a token reconstruction layer to increase the number of tokens. The following steps are performed to achieve this: (i) we use the token clustering layer to cluster the neighboring tokens together, resulting in low-resolution representations that maintain the spatial structures; (ii) we apply the following transformer layers only to these low-resolution representations or clustered tokens; and (iii) we use the token reconstruction layer to re-create the high-resolution representations from the refined low-resolution representations. The results obtained by our method are promising on five dense prediction tasks, including object detection, semantic segmentation, panoptic segmentation, instance segmentation, and depth estimation.

研究の動機と目的

• セグメンテーションや検出のような密度予測タスクにおける大規模ビジョン変換器の高い計算コストを軽減すること。
• 事前学習済みビジョン変換器を高速化する際、微調整や再訓練の必要を排除すること。
• 高解像度の入力において、推論時間を著しく短縮し、FLOPsを削減しながら高い性能を維持すること。
• インスタンスセグメンテーション、深度推定、パンセグメンテーションを含む多様な密度予測タスクに一般化すること。
• 既存のビジョン変換器アーキテクチャ（ViT や Swin Transformer など）と互換性がある、軽量で即挿し可能なソリューションを提供すること。

提案手法

• 隣接するトークンを低解像度表現にグループ化するトークンクラスタリング層を導入し、空間的構造を保持する。
• その後続のトランスフォーマーレイヤーを、クラスタリングされた低解像度トークンにのみ適用することで計算量を削減する。
• 精錬された低解像度特徴から高解像度表現を再構成するトークン再構成層を挿入する。
• 追加の学習や重み更新を必要としない非パrametricなオペレータを用いる。
• ViT-L/16 および Swin-L に、経験的に選定された段階にクラスタリングおよび再構成層を挿入する。
• 微調整なしに、事前学習済みモデルの豊富な中間表現を活用することで、モデル性能を維持する。

(a) mIoU@Segmenter

実験結果

リサーチクエスチョン

• RQ1 微調整や再訓練なしに、ビジョン変換器を密度予測タスクで高速化できるか？
• RQ2 大規模ビジョン変換器において、計算コストを削減しながらも高解像度表現をどのように維持できるか？
• RQ3 学習可能なパrameterを追加せずに、トークン数を効果的に削減できる非パrametricな演算は何か？
• RQ4 提案手法は、物体検出や深度推定を含む多様な密度予測タスクにどのように一般化するか？
• RQ5 性能を高く維持しつつ、FLOPsをどの程度削減でき、推論速度をどの程度向上できるか？

主な発見

• 「Segmenter+ViT-L/16」において、微調整なしに推論速度を40%向上させ、FLOPsを30%削減し、ADE20Kで元の性能の99.5%を維持した。
• COCOパンセグメンテーションにおいて、FPSを35%以上向上させながら、性能低下を最小限に抑えた。
• DPTを用いた深度推定において、KITTIおよびNYUv2ベンチマークで30–37%の高速化を達成し、指標の低下はわずかであった。
• 画像分類タスクにも一般化でき、EViTと同等の性能を達成したが、ImageNet-1Kではより高い効率性を示した。
• オブジェクト検出、セマンティックセグメンテーション、パンセグメンテーション、インスタンスセグメンテーション、深度推定の5つの密度予測タスクにおいて、強力な性能を維持した。

(b) FPS@Segmenter