[論文レビュー] SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation

K L Navaneet, Soroush Abbasi Koohpayegani+2 more|arXiv (Cornell University)|Jan 13, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、自己教師あり学習における知識蒸留のためのシンプルで効果的な手法SimRegを提案する。この手法では、訓練時のみに多層パーセプトロン（MLP）ヘッドを用いて、学生の特徴量を教師の特徴量に回帰させる。驚くべきことに、後者は教師に近いにもかかわらず、バックボーンの特徴量がMLPヘッドの特徴量を上回る性能を示し、教師と学生の両方に同じ弱いデータ拡張を適用することで性能が向上し、推論コストをほとんど増やさずにImageNetで最先端の結果を達成した。

ABSTRACT

Feature regression is a simple way to distill large neural network models to smaller ones. We show that with simple changes to the network architecture, regression can outperform more complex state-of-the-art approaches for knowledge distillation from self-supervised models. Surprisingly, the addition of a multi-layer perceptron head to the CNN backbone is beneficial even if used only during distillation and discarded in the downstream task. Deeper non-linear projections can thus be used to accurately mimic the teacher without changing inference architecture and time. Moreover, we utilize independent projection heads to simultaneously distill multiple teacher networks. We also find that using the same weakly augmented image as input for both teacher and student networks aids distillation. Experiments on ImageNet dataset demonstrate the efficacy of the proposed changes in various self-supervised distillation settings.

研究の動機と目的

• 推論時やメモリの増加なしに、自己教師ありモデルからの知識蒸留をシンプルかつ効果的に改善すること。
• 最終層の特徴量が教師に近いにもかかわらず、中間層の学生特徴量が最終層を上回る理由を調査すること。
• 蒸留中に教師と学生の両方の入力として同じ弱いデータ拡張を用いることの利点を調査すること。
• 1つの学生モデルに対して複数の教師を用いたマルチテイチャー蒸留を、各教師ごとに別々のMLPヘッドを用いて行うことの有効性を検証すること。
• 深層MLPヘッドの効果を、自己教師ありおよび教師ありの両方の教師モデルから評価すること。

提案手法

• 学生ネットワークのバックボーンに、蒸留時のみに多層パーセプトロン（MLP）ヘッドを追加し、推論時には削除する。
• MLPヘッドは、平均二乗誤差損失を用いて、学生の特徴表現を教師の潜在的特徴量に回帰させる。
• 蒸留中に、教師と学生の両方のネットワークに同じ弱いデータ拡張を適用することで、特徴量の整合性を向上させる。
• 複数の教師ネットワーク（例：MoCo-v2、BYOL、SwAV）を同時に蒸留し、各教師ごとに個別のMLPヘッドを用いる。
• 推論時には最終MLP層ではなく、学生のバックボーン特徴量を下流の評価に用いる。これは、最終MLP層が教師に近いにもかかわらず、バックボーン特徴量が優れるためである。
• 本手法は、自己教師ありおよび教師ありの両方の教師モデルに適用可能であり、学習パラダイムを超えて一般化されることを示した。

実験結果

リサーチクエスチョン

• RQ1 最終MLP層の特徴量が教師の表現に近いにもかかわらず、なぜ学生のバックボーン特徴量が下流性能で優れるのか？
• RQ2 教師と学生の両方に同じ弱いデータ拡張を適用することで、蒸留性能が向上するか？
• RQ3 推論コストを増やさずに、より深いMLPヘッドが蒸留性能を向上させるか？
• RQ4 1つの学生モデルに複数の教師を用いたマルチテイチャー蒸留は、各教師ごとに別個のMLPヘッドを用いることでどの程度効果的か？
• RQ5 本手法は、メモリバンクや温度スケーリングに依存する複雑な最先端の蒸留手法を上回るか？

主な発見

• 4層のMLPヘッドを蒸留時に用いることで、下流性能が顕著に向上し、複数の自己教師あり教師から蒸留した場合、ImageNetの線形評価精度が66.9%に達した。
• 学生のバックボーン特徴量は、最終MLP層の出力よりも優れた性能を示し、66.9%の線形精度を達成した。一方、MLP出力は66.3%にとどまり、後者は教師に近いにもかかわらず劣る。
• 教師と学生の両方に同じ弱いデータ拡張を適用した場合が最良の性能（66.9%の線形精度）を示し、異なるまたはより強い拡張を用いた場合を上回った。
• 各教師ごとに4層のMLPヘッドを別々に用いたマルチテイチャー蒸留では、67.0%の線形精度を達成し、線形ヘッド（同じ設定で64.8%）を著しく上回った。
• 教師として教師ありのResNet-50を用いた場合にも、MLPヘッドの効果が確認され、4層ヘッドでは73.5%の線形精度を達成した。一方、線形ヘッドでは67.5%にとどまった。
• 本手法は、推論コストやモデル容量を増やさずに、自己教師あり蒸留設定においてImageNetで最先端の性能を達成した。