[論文レビュー] Self-Distillation from the Last Mini-Batch for Consistency Regularization

Yiqing Shen, Liwu Xu+3 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、前回のミニバッチからのソフトラベルを用いて学習を正則化することで、モデルの一貫性とラベルノイズに対するロバスト性を向上させる、計算コストが低くメモリを軽視する自己蒸留手法DLB（Self-Distillation from the Last Mini-Batch）を提案する。この手法はアーキテクチャの変更や事前学習済み教師モデルを必要とせず、複数のアーキテクチャで最先端の性能を達成する。

ABSTRACT

Knowledge distillation (KD) shows a bright promise as a powerful regularization strategy to boost generalization ability by leveraging learned sample-level soft targets. Yet, employing a complex pre-trained teacher network or an ensemble of peer students in existing KD is both time-consuming and computationally costly. Various self KD methods have been proposed to achieve higher distillation efficiency. However, they either require extra network architecture modification or are difficult to parallelize. To cope with these challenges, we propose an efficient and reliable self-distillation framework, named Self-Distillation from Last Mini-Batch (DLB). Specifically, we rearrange the sequential sampling by constraining half of each mini-batch coinciding with the previous iteration. Meanwhile, the rest half will coincide with the upcoming iteration. Afterwards, the former half mini-batch distills on-the-fly soft targets generated in the previous iteration. Our proposed mechanism guides the training stability and consistency, resulting in robustness to label noise. Moreover, our method is easy to implement, without taking up extra run-time memory or requiring model structure modification. Experimental results on three classification benchmarks illustrate that our approach can consistently outperform state-of-the-art self-distillation approaches with different network architectures. Additionally, our method shows strong compatibility with augmentation strategies by gaining additional performance improvement. The code is available at https://github.com/Meta-knowledge-Lab/DLB.

研究の動機と目的

• 従来の知識蒸留が、特に事前学習済み教師モデルやアンサンブルモデルに依存する場合に生じる高い計算コストとメモリ消費を軽減すること。
• 既存の自己蒸留手法の限界、例えばアーキテクチャの変更、モデルスナップショットによるメモリオーバーヘッド、計算の冗長性を克服すること。
• 訓練の安定性と一貫性を向上させる、シンプルで効率的かつ並列化可能な自己蒸留フレームワークの開発。
• ラベルノイズに対するモデルのロバスト性とデータオーグメンテーション戦略との互換性の向上。
• アーキテクチャの変更なしに多様なネットワークアーキテクチャに適用可能な、即挿し可能な正則化手法の提供。

提案手法

• 各バッチの半分を前回のイテレーションと重複させ、もう半分を次回のイテレーションと重複させるようにミニバッチのサンプリングを再配置し、時間的一貫性を実現。
• 直前のミニバッチからオンザフライで生成されたソフトラベルを、現在のバッチの蒸留ターゲットとして使用。
• 温度スケーリングを用いてソフトラベルのスムージングを実施し、モデル自身の前回のミニバッチの予測を蒸留する一貫性損失を適用。
• バランス係数αを介して交差エントロピー損失と蒸留損失を統合し、バッチあたり1回のフォワードとバックワードパスでエンドツーエンド学習を可能に。
• モデルスナップショットや履歴の完全な記録を保存せず、最後のミニバッチのソフトターゲットのみを保持することで、追加のメモリ消費を回避。
• データオーグメンテーションとのシームレスな統合を可能にし、増幅されたビュー間で一貫した予測を活用。

Figure 1 : The overall architecture of our DLB. We write $\mathcal{B}_{t}$ , $\phi_{t}$ , $\theta_{t}$ for a mini-batch of data samples, random augmentation and the trainable parameters indexed in the $t$ th iteration.

実験結果

リサーチクエスチョン

• RQ1 事前学習済み教師モデルやアーキテクチャの変更を回避しながらも、高い効率と性能を維持できる自己蒸留手法を設計できるか？
• RQ2 直前のミニバッチのソフトラベルのみを用いることで、他の自己蒸留ベースラインと比較して訓練の安定性と一貫性がどのように向上するか？
• RQ3 提案手法が、学習データ内のラベルノイズに対してどの程度のロバスト性を向上させるか？
• RQ4 データオーグメンテーション技術と組み合わせた場合、この手法は依然として有効に機能するか？
• RQ5 温度や損失重み付けなどのハイパーパrameterに対して、この手法はどの程度感度を示すか？

主な発見

• DLBはCIFAR-10、CIFAR-100、Tiny ImageNetで最先端の自己蒸留手法を上回り、CIFAR-100におけるResNet-32では26.00%のトップ-1誤差率を達成した。
• CIFAR-100で60%のラベルノイズを含む状況下でも、ベースライン比で4.44%の精度向上を達成し、ノイズラベルに対する強いロバスト性を示した。
• 10%のラベルノイズ下では2.38%の精度向上を達成し、ノイズ率が高くなるほど性能向上が顕著に増加した。
• DLBをデータオーグメンテーション技術と組み合わせることで、さらなる性能向上が得られ、直交的かつ補完的な利点を示した。
• アブレーションスタディにより、蒸留損失を削除すると性能が著しく低下し、ResNet-32では誤差率が26.00%から28.01%に上昇した。
• ハイパーパrameter分析では、最適な性能がτ=3およびα∈[0.5,2.0]で得られ、ハイパーパrameterの選択に対して高いロバスト性を示した。

(a) CIFAR-100