[論文レビュー] Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks

Youngmin Ro, Jin Young Choi|arXiv (Cornell University)|Feb 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 5

ひとこと要約

本稿では、深層ネットワークの微調整における、階層的特徴学習と対立する単一の学習率の不一致を解消するため、レイヤーごとのプルーニングとレイヤーごとの学習率の自動チューニングを提案する。各レイヤーの学習率を適応的に調整し、重要度の低いレイヤーをプルーニングすることで、画像検索および細粒度分類のベンチマークで性能を向上させるとともに、モデルの複雑さを低減する。

ABSTRACT

Existing fine-tuning methods use a single learning rate over all layers. In this paper, first, we discuss that trends of layer-wise weight variations by fine-tuning using a single learning rate do not match the well-known notion that lower-level layers extract general features and higher-level layers extract specific features. Based on our discussion, we propose an algorithm that improves fine-tuning performance and reduces network complexity through layer-wise pruning and auto-tuning of layer-wise learning rates. Through in-depth experiments on image retrieval (CUB-200-2011, Stanford online products, and Inshop) and fine-grained classification (Stanford cars, Aircraft) datasets, the effectiveness of the proposed algorithm is verified.

研究の動機と目的

• 既存の微調整手法がすべてのレイヤーに同一の学習率を使用するという制限を解消すること。これは、階層的特徴学習の原則と矛盾する。
• 個々のレイヤーのダイナミクスに基づいて学習率をレイヤーごとに適応可能にする仕組みを導入することで、微調整の性能を向上させること。
• 学習率の感受性に基づく構造的レイヤーごとのプルーニングにより、ネットワークの複雑さを低減すること。
• 提案手法の有効性を、画像検索および細粒度分類のための多様なベンチマークデータセット上で検証すること。

提案手法

• 微調整中に各レイヤーごとに独立して学習率を調整する、レイヤーごとの学習率自動チューニング機構を導入する。
• トレーニング中の重み変動の傾向に基づいて、寄与度が低いレイヤーをプルーニングする戦略を採用する。
• 単一の学習率を用いた微調整におけるレイヤーごとの重み変動を分析し、特徴階層と整合しない行動を示すレイヤーを同定する。
• 観察された変動傾向を基に、各レイヤーのプルーニング意思決定と学習率適応をガイドする。
• 複数の畳み込み層および全結合層にわたり、プルーニングと適応的学習率戦略を統合して適用する。
• 複数の微調整ベンチマークにおけるエンドツーエンドのトレーニングと評価を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 すべてのレイヤーに同一の学習率を使用すると、微調整における階層的特徴学習プロセスにどのような影響を与えるか？
• RQ2 グローバルな学習率と比較して、レイヤーごとの学習率適応は微調整性能を向上させることができるか？
• RQ3 レイヤーごとのプルーニングは、精度を劣化させることなく、どの程度モデル効率を向上させることができるか？
• RQ4 レイヤーごとの重み変動傾向は、深層ネットワークにおける特徴抽象化レベルとどの程度相関しているか？
• RQ5 提案手法は、画像検索や細粒度分類といった異なる微調整タスクに一般化可能か？

主な発見

• 単一の学習率の使用は、レイヤー間で一貫性のない重み変動傾向を引き起こし、一般から特定への特徴学習の期待される階層と矛盾する。
• レイヤーごとの学習率自動チューニングは、CUB-200-2011、Stanford Online Products、Inshop データセットにおいて、微調整性能を顕著に向上させる。
• 効果的なレイヤーごとのプルーニングにより、モデルの複雑さを低減しつつ、より高い精度を達成する。
• 本手法は、画像検索および細粒度分類の両タスクで一貫した性能向上を示す。
• 重み変動傾向に基づくレイヤーごとのプルーニングは、余分なか、感受性が低いレイヤーを効果的に同定・削除する。
• 全評価ベンチマークにおいて、グローバルな学習率を用いた標準的な微調整を上回る性能を示す。