[論文レビュー] Not All Knowledge Is Created Equal.

Ziyun Li, Xinshao Wang+5 more|arXiv (Cornell University)|Jun 2, 2021

Machine Learning and Data Classification参考文献 34被引用数 5

ひとこと要約

本稿では、信頼性の低い知識をノイズが多いまたは不確実な教師モデルからフィルタリングすることでモデルのロバスト性を向上させる、選択的知識蒸留フレームワーク「Confident knowledge selection followed by Mutual Distillation (CMD)」を提案する。CMDは静的または段階的なしきい値を用いて、信頼性の高い知識のみを選択し、ラベルノイズ下でも最先端の性能を達成する。

ABSTRACT

Mutual knowledge distillation (MKD) improves a model by distilling knowledge from another model. However, not all knowledge is certain and correct, especially under adverse conditions. For example, label noise usually leads to less reliable models due to the undesired memorisation [1, 2]. Wrong knowledge misleads the learning rather than helps. This problem can be handled by two aspects: (i) improving the reliability of a model where the knowledge is from (i.e., knowledge source's reliability); (ii) selecting reliable knowledge for distillation. In the literature, making a model more reliable is widely studied while selective MKD receives little attention. Therefore, we focus on studying selective MKD and highlight its importance in this work. Concretely, a generic MKD framework, Confident knowledge selection followed by Mutual Distillation (CMD), is designed. The key component of CMD is a generic knowledge selection formulation, making the selection threshold either static (CMD-S) or progressive (CMD-P). Additionally, CMD covers two special cases: zero knowledge and all knowledge, leading to a unified MKD framework. We empirically find CMD-P performs better than CMD-S. The main reason is that a model's knowledge upgrades and becomes confident as the training progresses. Extensive experiments are present to demonstrate the effectiveness of CMD and thoroughly justify the design of CMD. For example, CMD-P obtains new state-of-the-art results in robustness against label noise.

研究の動機と目的

• すべての蒸留知識が信頼できるわけではないという問題に取り組むこと、特にラベルノイズ下において。
• 教師モデルの信頼性を向上させることと比較して、選択的知識蒸留の重要性がまだ十分に踏襲されていないことの強調。
• ゼロ、部分的、または完全な知識伝達をサポートする、汎用的で統一的なフレームワークを設計すること。
• 信頼度に基づく知識選択がモデルの汎化性能とロバスト性をどのように向上させるかを調査すること。
• 段階的しきい値が静的しきい値よりも優れた性能を示すことを実証的に検証すること。

提案手法

• 教師モデルの信頼度に基づいて動的または固定の知識選択が可能な、相互蒸留フレームワーク内での汎用的知識選択定式を提案する。
• 2つのバリエーションを導入する：CMD-S（静的しきい値）とCMD-P（段階的しきい値）、後者は訓練の進行に伴い選択しきい値を増加させる。
• 教師モデルの信頼度スコアを用いて、低信頼度の予測を蒸留の前にフィルタリングする。
• フレームワークを設計して、2つの極端な状況を自然に含める：ゼロ知識（蒸留なし）と全知識（標準的なMKD）、統一されたフレームワークを形成する。
• 信頼度フィルタリングを損失計算の前に行い、学生モデルと選択された教師出力間の標準的蒸留損失を採用する。
• 蒸留中に知識フィルタリングを適用しながら、学生モデルを教師からの知識と元のラベルの両方で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズ下でのロバスト性という観点から、選択的知識蒸留は標準的な相互蒸留と比べてどのように異なるか？
• RQ2 知識選択における静的しきい値と段階的しきい値の使用が、それぞれにどのような影響を与えるか？
• RQ3 ゼロ知識と全知識伝達を特別なケースとして含める、相互蒸留の統一フレームワークを設計できるか？
• RQ4 低信頼度の知識をフィルタリングすることで、モデルの汎化性能が向上し、ノイズの多いラベルの記憶が減少するか？
• RQ5 信頼度に基づく選択が、ノイズのあるラベル設定下での最先端性能にどのように寄与しているか？

主な発見

• 段階的信頼度しきい値を用いるCMD-Pは、評価されたすべての設定でCMD-Sを上回る性能を示した。
• 段階的しきい値戦略は、モデルの信頼度が訓練の進行に伴い上昇するというトレーニングダイナミクスとよりよく整合していた。
• CMD-Pは、標準ベンチマークにおいてラベルノイズに対するロバスト性で、新たな最先端の結果を達成した。
• フレームワークは、ゼロ知識と全知識蒸留を特別なケースとして自然に統合できており、柔軟性を示した。
• 実証的結果から、信頼性の低い知識をフィルタリングすることで、モデルの汎化性能が顕著に向上し、ラベルノイズへの感受性が低減することが確認された。