[論文レビュー] TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning

Bingyan Liu, Yifeng Cai+2 more|arXiv (Cornell University)|Mar 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 6

ひとこと要約

TransTailorは、微調整の重みに依存するのではなく、ターゲットに適応した重みの重要度に基づいて事前学習モデルをプルーニングすることにより、性能を向上させる画期的な転移学習手法を提案する。タスク固有の重要度スコアを用いて繰り返しプルーニングと微調整を実行することで、FLOPsを削減したにもかかわらず最先端の精度を達成する、より小型で最適化されたサブモデルを生成する。この手法は、複数のデータセットにおいて標準的な微調整やプルーニングのベースラインを上回る性能を発揮する。

ABSTRACT

The increasing of pre-trained models has significantly facilitated the performance on limited data tasks with transfer learning. However, progress on transfer learning mainly focuses on optimizing the weights of pre-trained models, which ignores the structure mismatch between the model and the target task. This paper aims to improve the transfer performance from another angle - in addition to tuning the weights, we tune the structure of pre-trained models, in order to better match the target task. To this end, we propose TransTailor, targeting at pruning the pre-trained model for improved transfer learning. Different from traditional pruning pipelines, we prune and fine-tune the pre-trained model according to the target-aware weight importance, generating an optimal sub-model tailored for a specific target task. In this way, we transfer a more suitable sub-structure that can be applied during fine-tuning to benefit the final performance. Extensive experiments on multiple pre-trained models and datasets demonstrate that TransTailor outperforms the traditional pruning methods and achieves competitive or even better performance than other state-of-the-art transfer learning methods while using a smaller model. Notably, on the Stanford Dogs dataset, TransTailor can achieve 2.7% accuracy improvement over other transfer methods with 20% fewer FLOPs.

研究の動機と目的

• 既存の手法が重みのチューニングのみに注目するのに対し、事前学習モデルとターゲットタスクの間の構造的不一致を解消すること。
• モデルアーキテクチャを固定と見なさず、モデル構造と重みの両方を最適化することで、転移学習の性能を向上させること。
• 元のタスクではなく、ターゲットタスクに特化したアーキテクチャに事前学習モデルを適合させるプルーニング戦略を開発すること。
• ターゲットに適応したフィルタ重要度に基づく反復的プルーニングと微調整を通じて、最適なタスク固有のサブモデルを生成すること。
• 標準的な微調整よりも、プルーニングによるモデル構造のチューニングが、より小さなモデルでも優れた性能を発揮することを示すこと。

提案手法

• ヒューリスティクスや元のタスクの指標に依存せずに、ターゲットに適応したフィルタ重要度を推定する学習ベースの手法を提案する。
• 元のタスクの重要度スコアをターゲットタスクに適応した重要度に変換する変換プロセスを導入し、プルーニングの意思決定に活用する。
• 各ステップで更新された重要度スコアを用いて次のラウンドのプルーニングと最適化をガイドする、反復的プルーニングと微調整を適用する。
• 計算されたターゲットに適応した重要度を、プルーニングプロセスとその後の微調整の両方に活用し、プルーニング後のモデルがターゲットタスクに対して有効なままであることを保証する。
• 圧縮比ではなくタスク固有のパフォーマンスに焦点を当て、精度とモデルサイズのバランスを取ることで最適なサブモデルを同定する探索戦略を採用する。
• 複数のアーキテクチャ（ResNet-101, VGG-16, EfficientNet-B0）とデータセットにわたってこの手法を適用し、汎用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットに適応した重要度に基づいて事前学習モデルをプルーニングすることで、標準的な微調整よりも優れた転移学習性能が得られるか？
• RQ2 プルーニングによる構造チューニングは、転移学習における元タスクとターゲットタスクの間の構造的不一致を緩和するか？
• RQ3 異なるモデルアーキテクチャにおいて、プルーニングされたタスク最適化サブモデルの性能は、標準的な微調整や他のプルーニングベースラインと比べてどうか？
• RQ4 最適なサブモデルが生成された際、異なるターゲットタスクにおいて層ごとのフィルタプルーニング分布にどのようなパターンが現れるか？
• RQ5 提案手法は、最先端の転移学習手法と比較して、より少ないFLOPsで優れた精度を達成できるか？

主な発見

• Stanford Dogsデータセットでは、TransTailorは他の転移手法よりも2.7%の精度向上を達成するとともに、FLOPsを20%削減した。
• FLOPsを50%削減した状況でも、TransTailorはベースラインを8.1%上回った。これは、高圧縮状況下での優位性を示している。
• VGG-16では、TransTailorは標準的な微調整および完全微調整を常に上回り、FLOPsを20%～50%削減した。
• EfficientNet-B0では、TransTailorは標準的な微調整よりも7.0%、完全微調整よりも0.7%高い精度を達成し、FLOPsを20%削減した。
• プルーニングされたフィルタは一様に分布していない。浅い層では一般化された特徴表現を担うため、より多くのフィルタが保持されている。一方、深い層ではより多くのプルーニングが見られ、特に最後の畳み込み層で顕著である。
• ResNet-101では、フィルタプルーニングの分布にVGG-16で観察されたような規則性が見られない。これは、残差ブロックのアンサンブル構造が、浅い層における共通の低レベル特徴の仮定を弱めるためであると考えられる。