[論文レビュー] What Knowledge Gets Distilled in Knowledge Distillation?

Utkarsh Ojha, Yuheng Li+3 more|arXiv (Cornell University)|May 31, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、知識蒸留における精度向上を超えた暗黙の知識が何であるかを調査し、教師の意思決定境界の特性——例えば敵対的脆弱性、色に対する不変性、形状/テクスチャバイアス——が、明示的な目的がなくても、蒸留によって学生に引き継がれることを示している。幾何学的分析により、教師の特徴を模倣することで学生が教師の意思決定境界に一致することを実証し、蒸留が性能向上を超えてなぜ機能するのかを説明している。

ABSTRACT

Knowledge distillation aims to transfer useful information from a teacher network to a student network, with the primary goal of improving the student's performance for the task at hand. Over the years, there has a been a deluge of novel techniques and use cases of knowledge distillation. Yet, despite the various improvements, there seems to be a glaring gap in the community's fundamental understanding of the process. Specifically, what is the knowledge that gets distilled in knowledge distillation? In other words, in what ways does the student become similar to the teacher? Does it start to localize objects in the same way? Does it get fooled by the same adversarial samples? Does its data invariance properties become similar? Our work presents a comprehensive study to try to answer these questions. We show that existing methods can indeed indirectly distill these properties beyond improving task performance. We further study why knowledge distillation might work this way, and show that our findings have practical implications as well.

研究の動機と目的

• 知識蒸留において、タスク精度の向上を超えて伝わる暗黙の知識が何であるかを理解すること。
• 学生が教師の意思決定境界の特性——例えば敵対的ロバストネス、データ不変性、バイアス——を引き継ぐかどうかを調査すること。
• これらの特性が明示的な目的がないにもかかわらず、なぜ蒸留によって間接的に伝わるのかを分析すること。
• 公平性バイアスの教師から学生への伝播といった、実用的インプリケーションを探索すること。
• 特徴蒸留が教師と学生の境界をどのように一致させるのかを幾何学的に説明すること。

提案手法

• 著者らは、3つの最先端の蒸留手法——KL（出力ベース）、ヒント（中間特徴ベース）、CRD（コントラストベース）——を評価した。
• 教師と学生のネットワーク間の境界類似度を測るために、ドメインをまたいで三重項ベースの平面交差率（IoU）を用いた意思決定境界類似度を用いた。
• 解析では、教師を複数のドメイン（例：MNIST-Orig、MNIST-Color、MNIST-M）で訓練し、単一のドメインで蒸留を行い、全ドメインで境界類似度を測定した。
• 幾何学的視点を適用し、特徴を意思決定境界からの相対的距離としてモデル化し、これらの距離を模倣することで境界一致が達成されることを示した。
• 形状/テクスチャバイアスの伝達に関するアブレーションと、教師-学生および教師独立-学生の予測の整合性を評価した。
• データ分割を制御したMNISTの変種を用いて、伝達効果を分離するための実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、敵対的訓練が明示的にない場合でも、教師の敵対的脆弱性を学生に伝えるのか？
• RQ2 蒸留は、色不変性のような不変性特性を教師から学生に伝えることができるのか？
• RQ3 蒸留中に観測されていないデータドメインにおいて、学生が教師の意思決定境界行動をどの程度引き継ぐのか？
• RQ4 明示的な目的がないにもかかわらず、蒸留がなぜ教師と学生の境界一致をもたらすのか？
• RQ5 蒸留は、公平性や形状/テクスチャバイアスといった望ましくないバイアスを教師から学生に伝播させることができるのか？

主な発見

• KL蒸留を用いた学生は、教師の敵対的脆弱性を引き継いでおり、教師用に作成された敵対的例に対して、より高い騙し率を示した。
• 蒸留された学生と教師間の意思決定境界類似度は、教師と独立に訓練された学生との類似度よりも顕著に高く、特に未観測ドメイン（例：MNIST-ColorでKLの場合、0.671 対 0.416）で顕著だった。
• MNIST-Colorでは、KL蒸留学生の意思決定境界類似度は0.671であったのに対し、独立した学生では0.416であったため、境界伝達が強く確認された。
• ヒント法は、MNIST-Colorで最高の類似度（0.798）を達成し、中間特徴の蒸留が境界一致に特に効果的であることが示された。
• CRD法は中程度の伝達を示し、MNIST-Mでは類似度が0.486であったため、KLやヒント法に比べて境界伝達が劣っていた。
• 本研究では、蒸留が形状/テクスチャバイアスを伝えることが判明したが、その程度は蒸留目的に依存し、一部の手法ではバイアス伝達に差異が見られた。