[論文レビュー] RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr

Xingjian Li, Haoyi Xiong+3 more|arXiv (Cornell University)|Jul 7, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

RIFLEは、微調整中に完全結合（FC）層を周期的に再初期化することで、より深い畳み込みニューラルネットワーク（CNN）層における誤差逆伝播を向上させる、深層転移学習のための新しい正則化手法である。この周期的再初期化により、深い層への意味のある勾配更新が注入され、低レベル特徴の学習が向上し、同等の設定下で最先端の手法（ドロップアウト、ドロップコネクト、サイクル学習率）よりも0.5%〜2%高いテスト精度を達成する。

ABSTRACT

Fine-tuning the deep convolution neural network(CNN) using a pre-trained model helps transfer knowledge learned from larger datasets to the target task. While the accuracy could be largely improved even when the training dataset is small, the transfer learning outcome is usually constrained by the pre-trained model with close CNN weights (Liu et al., 2019), as the backpropagation here brings smaller updates to deeper CNN layers. In this work, we propose RIFLE - a simple yet effective strategy that deepens backpropagation in transfer learning settings, through periodically Re-Initializing the Fully-connected LayEr with random scratch during the fine-tuning procedure. RIFLE brings meaningful updates to the weights of deep CNN layers and improves low-level feature learning, while the effects of randomization can be easily converged throughout the overall learning procedure. The experiments show that the use of RIFLE significantly improves deep transfer learning accuracy on a wide range of datasets, out-performing known tricks for the similar purpose, such as Dropout, DropConnect, StochasticDepth, Disturb Label and Cyclic Learning Rate, under the same settings with 0.5% -2% higher testing accuracy. Empirical cases and ablation studies further indicate RIFLE brings meaningful updates to deep CNN layers with accuracy improved.

研究の動機と目的

• 事前学習済みの完全結合（FC）層の急速な収束により、深層転移学習において誤差逆伝播が深いCNN層に有意義に伝わらないという制限を解消すること。
• より効果的な誤差逆伝播を可能にすることで、転移学習における低レベル特徴の学習を向上させること。
• 収束の遅れを招かずに知識転送を強化する、シンプルでありながら効果的な正則化戦略を提案すること。
• 事前学習モデルを用いた微調整における過学習および不十分な重み更新の問題を克服すること。
• 制御されたランダム化を通じて、事前学習知識の保持とターゲットデータセットへの十分な適応の間のトレードオフを調整すること。

提案手法

• 微調整プロセスを等しい期間に分け、各期間の開始時に完全結合（FC）層をランダムな重みで再初期化する。
• 再初期化と同期してサイクル学習率スケジュールを適用し、全訓練プロセスにわたり安定した収束を確保する。
• 特にFC層に対して再初期化を実施し、事前学習済みの畳み込みフィルタを保持しつつ、より深い勾配の流れを可能にする。
• 再初期化により訓練ダイナミクスに非自明な摂動が生じ、事前学習済み重みが引き起こす局所最適解からの脱出を支援する。
• 軽量であり、既存のディープラーニングフレームワークと互換性があるように設計されており、アーキテクチャの変更は最小限にとどまる。
• 制御されたノイズをランダムな再初期化によって組み込むことで過学習を回避しつつ、全体の訓練安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 完全結合層の周期的再初期化は、転移学習におけるより深い畳み込み層への勾配伝播を改善できるか？
• RQ2 FC層の再初期化は、固定されたFC重みを用いた標準的な微調整と比較して、より優れた低レベル特徴学習を実現するか？
• RQ3 RIFLEは、ドロップアウト、ドロップコネクト、ステージドドロップアウトといった既存の正則化手法よりも、深層転移学習の精度で優れているか？
• RQ4 訓練中にRIFLEが、ネットワークの異なる層における勾配の大きさと分布にどのように影響を与えるか？
• RQ5 RIFLEは、ソースデータセットの特徴に依存する程度をどれほど低減させ、ターゲットデータセットへの適応を向上させるか？

主な発見

• RIFLEは、ベースライン微調整およびドロップアウト、ドロップコネクト、サイクル学習率といった既知の正則化手法と同等の設定下で、テスト精度を0.5%〜2%向上させる。
• 再初期化後に深い層における勾配の大きさが周期的に再活性化され、標準的な微調整で観察される過剰な勾配消失を防ぐ。
• RIFLEでは、vanilla L²正則化と比較して、深い層における勾配のフロベニウスノルムが著しく高いままであることが示され、持続的な誤差逆伝播が確認された。
• 実証的分析から、RIFLEは真のオラクルに近い低レベル特徴を学習しており、学習済み重みと真の重みの間の最適輸送距離が14%低減された。
• MLPオラクル実験では、テスト損失がベースライン（1.16×10⁻²）と比較して低く（3.98×10⁻³）なっており、過学習を避けたより優れた一般化性能が示された。
• アブレーションスタディにより、性能向上はハイパーパramータのチューニングではなく、より深い誤差逆伝播に起因することが確認された（同じ学習率とアーキテクチャが使用された）。