[論文レビュー] Visual Transformer Pruning.
この論文では、スパarsity正則化を用いて重要でないチャネルを特定・削除するチャネルプリンティング手法を提案しており、最小限の精度低下で高い圧縮を実現する。訓練時に正則化を適用し、影響が小さいチャネルを pruning した後、微調整を行うアプローチにより、ImageNet においてパラメータと FLOPs を顕著に削減しつつ、高い精度を維持する。
Visual transformer has achieved competitive performance on a variety of computer vision applications. However, their storage, run-time memory, and computational demands are hindering the deployment on mobile devices. Here we present an visual transformer pruning approach, which identifies the impacts of channels in each layer and then executes pruning accordingly. By encouraging channel-wise sparsity in the Transformer, important channels automatically emerge. A great number of channels with small coefficients can be discarded to achieve a high pruning ratio without significantly compromising accuracy. The pipeline for visual transformer pruning is as follows: 1) training with sparsity regularization; 2) pruning channels; 3) finetuning. The reduced parameters and FLOPs ratios of the proposed algorithm are well evaluated and analyzed on ImageNet dataset to demonstrate its effectiveness.
研究の動機と目的
- ビジョントランスフォーマーの高い計算およびメモリ要件がモバイルデプロイを妨える問題に対処すること。
- 性能に影響を与えることなく、ビジョントランスフォーマー内の冗長なチャネルを特定・削除すること。
- 高い圧縮比を達成しつつ、高い精度を維持するプリンティングパイプラインを開発すること。
- 提案手法の有効性を ImageNet データセット上で評価すること。
提案手法
- ビジョントランスフォーマーにおけるチャネル単位のスパarsityを促進するために、トレーニング中にスパarsity正則化を適用する。
- トレーニング後に重要度スコアに基づき、係数が小さいチャネルを特定・削除する。
- 個々の重みではなく、完全なチャネルを削除する構造的プリンティングを実施する。
- プリンティングによる精度損失を回復させるために、プルーニング後のモデルを微調整する。
- 3段階のパイプラインを用いる：(1) スパーストレーニング、(2) チャネルプリンティング、(3) 微調整。
- ImageNet におけるパラメータ削減率と FLOPs 範囲の観点から、最終モデルの性能を評価する。
実験結果
リサーチクエスチョン
- RQ1スパarsity正則化は、ビジョントランスフォーマーにおけるプリンティングに適した不必要なチャネルを効果的に同定できるか？
- RQ2ImageNet で競争的な精度を維持しつつ、最大でどの程度のプリンティング比を達成できるか？
- RQ3トレーニング－プリンティング－微調整の3段階パイプラインは、エンドツーエンドトレーニングに比べて、効率性と精度の点で優れているか？
- RQ4性能の著しい低下を伴わずに、パラメータ数と FLOPs をどの程度まで削減できるか？
主な発見
- 提案されたプリンティング手法は、ImageNet データセットにおいてモデルのパラメータ数と FLOPs を顕著に削減した。
- スパarsity正則化による重要チャネルの同定のおかげで、最小限の精度低下で高いプリンティング比が達成可能である。
- スパーストレーニング、プリンティング、微調整からなる3段階パイプラインは、圧縮後のモデル性能を効果的に維持した。
- 計算およびメモリ要件の削減により、リソース制限のあるモバイルデバイスへのビジョントランスフォーマーの効率的デプロイを可能にした。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。