[論文レビュー] Cross Quality Distillation.

Jong-Chyi Su, Subhransu Maji|arXiv (Cornell University)|Apr 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 9

ひとこと要約

本稿では、一般化行動を揃えることで、高品質データで訓練されたモデルから低品質データで訓練されたモデルへ知識を転送する、クロス品質蒸留（CQD）という手法を提案する。この手法は、低解像度画像認識やエッジからカラー画像への変換といった、複数の認識タスクにおいて、低品質テストデータでの精度を顕著に向上させる。

ABSTRACT

We propose a technique for training recognition models when high-quality data is available at training time but not at testing time. Our approach, called Cross Quality Distillation (CQD), first trains a model on the high-quality data and encourages a second model trained on the low-quality data to generalize in the same way as the first. The technique is fairly general and only requires the ability to generate low-quality data from the high-quality data. We apply this to learn models for recognizing low-resolution images using labeled high-resolution images, non-localized objects using labeled localized objects, edge images using labeled color images, etc. Experiments on various fine-grained recognition datasets demonstrate that the technique leads to large improvements in recognition accuracy on the low-quality data. We also establish connections of CQD to other areas of machine learning such as domain adaptation, model compression, and learning using privileged information, and show that the technique is general and can be applied to other settings. Finally, we present further insights into why the technique works through visualizations and establishing its relationship to curriculum learning.

研究の動機と目的

• トレーニング時に利用可能なのは高品質ラベル付きデータのみであるが、低品質データの認識に課題を解決すること。
• 高品質および低品質データの分布間でモデル行動を揃える、汎用的な蒸留技術を開発すること。
• ラベル付き低品質データを必要とせずに、低品質テストデータにおける認識精度を向上させること。
• CQDとドメイン適応やプライベート情報付き学習といった関連分野との理論的・実験的関連を確立すること。

提案手法

• 高品質データで訓練された教師モデルを、強固で一般化可能な特徴を学習するように訓練する。
• 高品質トレーニングデータの低品質版を生成し、それを学生モデルの学習に使用する。
• 知識蒸留を用いて、学生モデルの予測結果を教師モデルの出力と一致させる。
• 入力データの品質が異なる場合でも、教師モデルの一般化行動を模倣できるように学生モデルを最適化する。
• ドメインシフトにかかわらず、学生モデルが教師モデルと同じ意思決定境界を学ぶように、蒸留損失を最適化する。
• 低解像度画像認識やエッジからカラー画像への変換といった、多様なタスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 高品質データで訓練されたモデルの知識が、低品質テストデータでの性能向上に寄与するか？
• RQ2 蒸留が、異なるデータ品質レベル間でモデル行動をどの程度効果的に揃えられるか？
• RQ3 CQDが、低品質テスト環境下での認識精度に与える影響は何か？
• RQ4 CQDは、ドメイン適応やプライベート情報付き学習といった既存のパラダイムとどのように関係しているか？
• RQ5 CQDは、カリキュラム学習や特徴の一般化に関するどのようなインサイトを提供するか？

主な発見

• CQDは、複数の細分化された認識データセットにおいて、低品質テストデータでの認識精度を顕著に向上させる。
• トレーニング時に低品質ラベル付きデータを一切使用しなくても、大きな性能向上を達成する。
• CQDは、高品質から低品質データ分布へと知識を効果的に転送することで、強力な一般化性能を示す。
• この手法は、ドメイン適応、モデル圧縮、プライベート情報付き学習といった分野と強い関連性を示す。
• 可視化の結果、CQDは学生モデルがより強固で一般化可能な特徴を学ぶよう促進することがわかった。
• 本手法は、低解像度画像認識やエッジからカラー画像への変換といった多様な設定でも有効である。