[論文レビュー] Adaptive Regularization of Labels

Qianggang Ding, Sifan Wu+3 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Neural Network Applications参考文献 26被引用数 23

ひとこと要約

本論文では、残留相関行列と二重損失メカニズムを用いてラベルを動的に正則化することで、誤分類例から学習できる新しい手法である適応的ラベル正則化（ALR）を提案する。この手法は教師ネットワークを必要とせず、パラメータの追加が最小限であるにもかかわらず、画像分類およびテキスト分類タスクにおいて一般化性能を向上させ、最先端の性能を達成する。

ABSTRACT

Recently, a variety of regularization techniques have been widely applied in deep neural networks, such as dropout, batch normalization, data augmentation, and so on. These methods mainly focus on the regularization of weight parameters to prevent overfitting effectively. In addition, label regularization techniques such as label smoothing and label disturbance have also been proposed with the motivation of adding a stochastic perturbation to labels. In this paper, we propose a novel adaptive label regularization method, which enables the neural network to learn from the erroneous experience and update the optimal label representation online. On the other hand, compared with knowledge distillation, which learns the correlation of categories using teacher network, our proposed method requires only a minuscule increase in parameters without cumbersome teacher network. Furthermore, we evaluate our method on CIFAR-10/CIFAR-100/ImageNet datasets for image recognition tasks and AGNews/Yahoo/Yelp-Full datasets for text classification tasks. The empirical results show significant improvement under all experimental settings.

研究の動機と目的

• ワンホットエンコーディングされたラベルの限界に対処する。これはラベル間の相関関係を無視し、クラス間の意味的類似性を捉えられない。
• 知識蒸留における矛盾を克服する。ハード損失とソフト損失が予測を逆方向に引きずる。
• 誤った予測を情報源として活用し、一般化性能を向上させるラベル正則化手法を開発する。
• 煩雑な教師ネットワークを排除しつつ、知識蒸留と同等の性能を達成する。

提案手法

• 誤り分類の確率をモデル化するため、残留相関行列を導入。これは時間経過に伴うラベル関係を捉える。
• 誤った分類のソフト確率分布として残留ラベルを定義。これは残留相関行列から導出される。
• 二重損失関数を提案：残留損失（$\mathcal{L}_{res}$）は予測が残留ラベルと一致するよう促進し、更新損失（$\mathcal{L}_{upd}$）は現在のモデル予測に基づいて残留ラベルを適応的に更新する。
• 移動平均更新ルールを用いて、トレーニング中に残留ラベルを動的に精密化。一貫性と安定性を確保する。
• 外部の教師ネットワークや事前計算されたソフトラベルを必要とせず、エンドツーエンドの教師あり学習に適用可能。
• 温度制御されたソフトニング機構を採用。残留ラベルを徐々に滑らかにすることで、過学習を遅らせる。

実験結果

リサーチクエスチョン

• RQ1 誤分類例からの学習は、教師あり深層学習におけるモデル一般化性能の向上に寄与するか？
• RQ2 知識蒸留におけるハードラベルとソフトラベルの組み合わせが、最適化の対立を引き起こす理由は何か？
• RQ3 モデルの誤りから導出される残留ラベルは、一貫性があり安定した正則化信号として機能するか？
• RQ4 別個の教師ネットワークに依存せずにラベル正則化を達成できるか？
• RQ5 アダプティブでオンラインなラベル表現の更新は、静的ラベルスムージングや知識蒸留を上回る性能を発揮するか？

主な発見

• CIFAR-100では、ALR-Sがパラメータ数1×で70.97％の精度を達成。DMLと同等の性能を発揮するが、パラメータ数は半分である。
• ImageNet-12では、ResNet-32を用いてALR-Sがトップ-1精度80.70％を達成。ベースラインを上回り、最先端の手法と同等の性能を示した。
• 残留相関行列は時間経過に伴い一貫した誤分類パターンを示した。例えば、「ねこ」が頻繁に「いぬ」と誤分類され、逆も同様であった。
• 可視化により、残留ラベルが時間経過とともに徐々にソフトになることが確認された。これは誤った予測に対する自信の低下と、過学習の遅延を示している。
• ALRは、画像およびテキストベンチマークにおいて、多様なアーキテクチャ（ResNet, WideResNet, TextRNN, CharCNN, Transformer）で一貫した性能向上を達成した。
• ラベルスムージングや知識蒸留を上回る性能を発揮。ALRとラベルスムージングの組み合わせにより、さらに性能向上が見られた。