[論文レビュー] Learning from a Teacher using Unlabeled Data

Gaurav Menghani, Sujith Ravi|arXiv (Cornell University)|Nov 13, 2019

Machine Learning and Data Classification参考文献 11被引用数 5

ひとこと要約

本稿では、異なる分布からの完全にラベルなしデータ上で教師モデルのソフトラベルから学ぶ『ブラインド蒸留』を提案する。教師モデルがラベル付き例を一切見ないまま、Fashion-MNISTデータのみを用いてもMNISTで96%の精度を達成する学生モデルを構築した。これは、知識蒸留が元の学習データを超えてクラス間の関係を転送できることを示している。

ABSTRACT

Knowledge distillation is a widely used technique for model compression. We posit that the teacher model used in a distillation setup, captures relationships between classes, that extend beyond the original dataset. We empirically show that a teacher model can transfer this knowledge to a student model even on an {\it out-of-distribution} dataset. Using this approach, we show promising results on MNIST, CIFAR-10, and Caltech-256 datasets using unlabeled image data from different sources. Our results are encouraging and help shed further light from the perspective of understanding knowledge distillation and utilizing unlabeled data to improve model quality.

研究の動機と目的

• 知識蒸留が、元の学習データとは異なる分布からのラベルなしデータ上で、教師モデルの予測からクラス関係を学生モデルに転送できるかを調査すること。
• 教師モデルが元のラベル付きデータセットとは異なる分布からのラベルなしデータで学習した場合、その学生モデルが元のラベル付きデータセットに対して効果的に一般化できるかを評価すること。
• ブラインド蒸留における教師モデルと学生モデルのモデルアーキテクチャの整合性が果たす役割を理解すること。
• ラベルなしデータが教師付き学習の補完的信号としての可能性を評価すること。
• モデルセキュリティへのインパクトを検討し、ログィットとラベルなしデータのみを介してモデル性能を再現可能であることを示すこと。

提案手法

• ラベル付きデータセット（例：MNIST）で教師モデルを学習し、パラメータを固定して、異なる分布からのラベルなしデータ（例：Fashion-MNIST）に対してソフトラベル（ログィット）を出力する。
• 元のラベル付きデータにアクセスできない状態で、学生モデルを、自身のログィットと教師のログィットとの間のクロスエントロピー損失に基づいて学習させる。
• t-SNE可視化を用いて教師モデルの埋め込み空間を分析し、異なるデータ分布間でもクラス間の意味的関係を捉えていることを示す。
• ブラインド蒸留で学習した学生モデルを、元のラベル付きデータの小さなサブセットでファインチューニングして性能をさらに向上させる。
• 異なる教師-学生アーキテクチャの組み合わせ（例：CNN-CNN、MLP-CNN）を用いて、アーキテクチャの整合性が性能に与える影響を評価する。
• ブラインド蒸留後およびファインチューニング後の元のテストセットにおける精度を測定して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師モデルが元の学習例を一切見ない状態で、分布外のラベルなしデータ上の教師の予測から学習する学生モデルが、ラベル付きデータセットで高い性能を達成できるか？
• RQ2 教師モデルが分布外データに一般化する能力が、元のデータセットを超えた意味的なクラス関係を反映している程度はどの程度か？
• RQ3 教師と学生のアーキテクチャの不一致がブラインド蒸留における性能に与える影響は？
• RQ4 ブラインド蒸留とファインチューニングを組み合わせることで、標準的な教師付き学習と同等またはそれ以上の性能向上が達成できるか？
• RQ5 本手法がモデルセキュリティに与えるインパクトは何か、特にログィットへのアクセスのみでモデル性能を再現可能である場合にどうか？

主な発見

• Fashion-MNISTデータを用いてブラインド蒸留で学習した学生モデルは、トレーニング中にMNIST画像を一切見ないまま、MNISTテストセットで96%の精度を達成した。
• ブラインド蒸留で学習した学生モデルを、MNISTラベルの小さなサブセットでファインチューニングしたところ、学生モデルがMLPの場合に98.16%、CNNの場合に99.26%の精度に向上した。
• ブラインド蒸留の性能は教師-学生アーキテクチャの整合性に敏感であり、不一致があると精度が低下したが、ファインチューニングで是正された。
• より正確な教師モデルは、学生モデル学習中に高いクロスエントロピー損失を示し、より複雑な意思決定境界を学習していることを示している。
• t-SNE可視化により、教師モデルの埋め込み空間が、異なるデータセットからの似たような画像が互いに近接してクラスタリングされることから、意味的関係が保持されていることが示された。
• Caltech-256データセットでは、OpenImagesデータを用いたブラインド蒸留で64.0%の精度を達成し、ファインチューニングで72.3%に向上した。これは、多様で高ばらつきの大きいデータセット間でも転送可能であることを示している。