[論文レビュー] Better Supervisory Signals by Observing Learning Paths

Yi Ren, Shangmin Guo+1 more|arXiv (Cornell University)|Mar 4, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文では、学習過程中の学習経路を観察することで、より良い監視信号を改善する Filter-KD という知識蒸留手法を提案している。教師ネットワーク出力に指数移動平均（EMA）を適用することで、難易度の高いサンプルにおけるノイズの多い予測を安定化させ、CIFAR-100 および CIFAR-10 で一般化性能が向上し、ラベルノイズの下でも最先端の性能を達成する。

ABSTRACT

Better-supervised models might have better performance. In this paper, we first clarify what makes for good supervision for a classification problem, and then explain two existing label refining methods, label smoothing and knowledge distillation, in terms of our proposed criterion. To further answer why and how better supervision emerges, we observe the learning path, i.e., the trajectory of the model's predictions during training, for each training sample. We find that the model can spontaneously refine "bad" labels through a "zig-zag" learning path, which occurs on both toy and real datasets. Observing the learning path not only provides a new perspective for understanding knowledge distillation, overfitting, and learning dynamics, but also reveals that the supervisory signal of a teacher network can be very unstable near the best points in training on real tasks. Inspired by this, we propose a new knowledge distillation scheme, Filter-KD, which improves downstream classification performance in various settings.

研究の動機と目的

• 知識蒸留が単なるラベルスムージングをはるかに超えてモデル性能を向上させる理由を理解すること。
• 学習経路の概念を用いて、訓練過程における監視信号の変化を分析すること。
• 最適な訓練点付近での教師ネットワーク出力の不安定性が、劣悪な監視の原因であることを同定すること。
• 学習経路上での EMA を用いてノイズの多い予測をフィルタリングすることで、蒸留を改善する手法を開発すること。
• ラベル補正なしでも、モデルのダイナミクスによって自然により良い監視信号が出現することを示すこと。

提案手法

• 著者らは、良好な監視は真のクラス分布 p*(y|x) との L2 距離を最小化するべきであるという新しい基準を導入する。
• 「悪い」ラベルにおけるモデルは「ジグザグ」な学習経路をたどる——まず真の分布へ向かって移動し、その後 one-hot ラベルへ収束する。
• この経路は、収束付近で特に曖昧またはノイズの多いサンプルにおいて、教師出力が極めて不安定であることを明らかにしている。
• Filter-KD は、訓練中に教師の出力予測に指数移動平均（EMA）を適用することで、平滑化され、より安定した監視信号を生成する。
• この手法は教師の訓練プロセスを変更せず、EMA 出力を学生の蒸留用のソフトラベルとして使用する。
• 本手法は CIFAR-10 および CIFAR-100 で実証的に検証され、標準的な KD や自己蒸留よりも一貫した性能向上を示している。

実験結果

リサーチクエスチョン

• RQ1 教師と学生が同一である場合でも、なぜ知識蒸留が性能を向上させるのか？
• RQ2 モデルの予測は訓練過程でどのように変化するのか？難易度の高いまたはノイズの多いサンプルでどのようなパターンが現れるのか？
• RQ3 学習経路のダイナミクスは、蒸留におけるより良い監視信号の出現を説明できるか？
• RQ4 収束付近での教師出力の不安定性は、蒸留において制限要因となるか？
• RQ5 EMA を用いて教師の出力軌道を平滑化することで、より良い下流性能が得られるか？

主な発見

• Filter-KD は one-hot 学習を用いて CIFAR-100 で 95.66% のテスト精度を達成し、標準的な KD（95.30%）や ESKD（95.29%）を上回った。
• CIFAR-10 では Filter-KD が 80.23% のテスト精度に達し、OHT（78.02%）や KD（78.64%）を顕著に上回った。
• 本手法は CIFAR-100 で期待自己校正誤差（ECE）を 0.006 まで低下させ、信頼度の校正がより良好であることを示した。
• 「ジグザグ」な学習経路は、トゥイ・データセットおよび実際のデータセットの両方で観察され、モデルが訓練中に動的にラベルを精錬していることを示した。
• Filter-KD は、ラベルノイズや曖昧なサンプルを含むデータセットにおいて特に性能向上を示し、耐障害性を示した。
• 著者らは、モデルパラメータの EMA では出力の EMA と性能が一致しないことを発見し、監視において出力の平滑化がより効果的であることを示唆した。