[論文レビュー] Spirit Distillation: A Model Compression Method with Multi-domain Knowledge Transfer

Zhiyuan Wu, Yu Jiang+5 more|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本稿では、事前学習済みの教師ネットワークからコンactな学生ネットワークへに跨るドメイン間の知識伝達を可能にする、新規の知識蒸留フレームワーク「Spirit Distillation (SD)」および「Enhanced Spirit Distillation (ESD)」を提案する。この手法により、少数の学習データ下でもモデル圧縮と耐障害性が向上する。教師ネットワークのフロントエンドから一般化された特徴を転送し、ターゲットドメインに類似したプロキシドメインを導入することで、より豊かな特徴学習を実現。ESDはmIOUを1.4%向上、高精度適合率を8.2%向上させ、FLOPsは41.8%にまで削減した。

ABSTRACT

Recent applications pose requirements of both cross-domain knowledge transfer and model compression to machine learning models due to insufficient training data and limited computational resources. In this paper, we propose a new knowledge distillation model, named Spirit Distillation (SD), which is a model compression method with multi-domain knowledge transfer. The compact student network mimics out a representation equivalent to the front part of the teacher network, through which the general knowledge can be transferred from the source domain (teacher) to the target domain (student). To further improve the robustness of the student, we extend SD to Enhanced Spirit Distillation (ESD) in exploiting a more comprehensive knowledge by introducing the proximity domain which is similar to the target domain for feature extraction. Results demonstrate that our method can boost mIOU and high-precision accuracy by 1.4% and 8.2% respectively with 78.2% segmentation variance, and can gain a precise compact network with only 41.8% FLOPs.

研究の動機と目的

• データ不足と限られた計算リソース下でのモデル圧縮と少サンプル学習の二重の課題に対処する。
• ソースドメインで事前学習された教師ネットワークを活用することで、ターゲットドメインにおける学生ネットワークの効果的で跨るドメイン間の知識伝達を可能にする。
• ターゲットドメインに類似したプロキシドメインを用いた強化された特徴学習により、コンパクトな学生ネットワークの耐障害性と一般化性能を向上させる。
• 知識蒸留とマルチドメイン知識伝達を統合した包括的フレームワークを構築し、効率的かつ高性能なモデル圧縮を実現する。

提案手法

• 教師ネットワークのフロントエンドに相当する表現を学生ネットワークが学習するSpirit Distillation (SD) を提案。これにより、ソースドメインからの一般化知識が転送される。
• プロキシドメイン（ターゲットドメインに類似したデータ）を導入することで、SDを拡張し、Enhanced Spirit Distillation (ESD) を構築。より包括的な特徴抽出が可能になる。
• 教師ネットワークの初期層からの中間表現を特徴ベースの蒸留により学生ネットワークに転送。FLOPsを最小限に抑えつつ性能を維持する。
• ソースドメイン（教師経由）とプロキシドメインからの知識を組み合わせて学生ネットワークを訓練。一般化性能の向上と分散の低減を実現。
• プロキシドメインデータの割合 $ r $ を調整することで、耐障害性と性能の間で制御可能なトレードオフを実現。
• 出力確率だけでなく中間特徴に対しても知識蒸留損失を適用。これにより、ドメイン間で構造的・意味的知識が保持される。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を効果的に拡張し、モデル圧縮を実現しながら、ドメイン跨ぎの知識伝達を可能にすることができるか？
• RQ2 ターゲットドメインに類似したプロキシドメインを組み込むことで、コンパクトな学生ネットワークの耐障害性と性能はどのように向上するか？
• RQ3 限られた学習データ下で、Spirit Distillation (SD) と Enhanced Spirit Distillation (ESD) はmIOUと高精度適合率をどの程度向上できるか？
• RQ4 プロキシドメインデータの割合 $ r $ を変化させた場合、学生ネットワークのセグメンテーション分散と耐障害性にどのような影響を与えるか？

主な発見

• Spirit Distillation (SD) は、標準的な訓練と比較してmIOUを1.4%向上、高精度適合率を8.2%向上させたが、FLOPsは41.8%にまで削減された。
• Enhanced Spirit Distillation (ESD) は、標準的な訓練と比較してセグメンテーション分散を21.8%低減し、高精度適合率を8.2%向上させた。
• 割合 $ r = 0.5 $ の場合、ESDは89.2%の高精度適合率と4.48 × 10⁻³の分散を達成し、優れた耐障害性を示した。
• プロキシドメインの使用により、予測の一貫性が顕著に向上し、極めて悪いセグメンテーション結果の割合が減少した。
• 可視化比較では、標準的な訓練やSD単体と比較して、ESDが影や道路境界のセグメンテーションをより良く行えた。
• 限られたターゲットドメインデータ下でも高い性能を維持したため、少サンプル学習の場面において本手法の有効性が確認された。