[論文レビュー] Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model

Dongdong Wang, Yandong Li+2 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 4

ひとこと要約

本稿では、実際のデータと教師モデルへのクエリの両方を最小限に抑えながら、ブラックボックス教師モデルから学生ニューラルネットワークを訓練するデータ効率的かつクエリ効率的な知識蒸留手法「アクティブミックスアップ」を提案する。本手法は、ミックスアップで拡張された合成画像とアクティブラーニングを用いることで、白ボックス蒸留手法と同等またはそれ以上の性能を達成しており、意味のないミックスアップ画像のラベル付けが可能である点から、ブラックボックス教師モデルが人間の評価者よりも生産的であることを示している。

ABSTRACT

We study how to train a student deep neural network for visual recognition by distilling knowledge from a blackbox teacher model in a data-efficient manner. Progress on this problem can significantly reduce the dependence on large-scale datasets for learning high-performing visual recognition models. There are two major challenges. One is that the number of queries into the teacher model should be minimized to save computational and/or financial costs. The other is that the number of images used for the knowledge distillation should be small; otherwise, it violates our expectation of reducing the dependence on large-scale datasets. To tackle these challenges, we propose an approach that blends mixup and active learning. The former effectively augments the few unlabeled images by a big pool of synthetic images sampled from the convex hull of the original images, and the latter actively chooses from the pool hard examples for the student neural network and query their labels from the teacher model. We validate our approach with extensive experiments.

研究の動機と目的

• 最小限のラベル付きデータと低コストのクエリでブラックボックス教師モデルからの知識蒸留を実現すること。
• 高性能な視覚認識モデルの学習に大規模データセットへの依存を減らすこと。
• 教師モデルが利用できない、またはクエリが高コストな状況下でも、知識蒸留におけるデータ効率性とクエリ効率性を向上させること。
• 意味のないミックスアップ画像が、実際のデータに代わって蒸留に有効に機能することを検証すること。
• ブラックボックス教師モデルが、意味のない合成画像をラベル付けできるため、人間の評価者よりも学生ネットワークの学習に優れていることを実証すること。

提案手法

• 異なる係数を用いて既存のラベルなし画像の凸結合を生成することで、多数の合成画像を生成する。
• 学生ネットワークの予測に基づき、最も不確実性の高いミックスアップ画像を選択する。この際、同じ元画像ペアから得られる重複を除外することで多様性を確保する。
• 選択された高不確実性ミックスアップ画像に対してのみブラックボックス教師モデルをクエリし、その出力を偽ラベルとして学生の学習に用いる。
• 新たに取得したラベルを用いて学生ネットワークを繰り返し再訓練することで、不確実性推定を精緻化し、複数ラウンドにわたり性能を向上させる。
• 重複クエリを回避するため、各元画像ペアから最も不確実性の高いミックスアップ画像のみを選択する多様性制約（式3のC₂）を適用する。
• 得られた偽ラベル付きミックスアップデータを用いて学生モデルを訓練し、実際のテスト画像に対しても一般化性能を高めることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミックスアップで拡張された合成画像は、ブラックボックス教師モデルからの知識蒸留のための有効な訓練データとして機能するか？
• RQ2 ミックスアップとアクティブラーニングを組み合わせることで、ブラックボックス教師へのクエリ数を著しく削減しつつ、学生の性能を維持または向上できるか？
• RQ3 最小限の実データを用いた場合、ブラックボックス教師からの蒸留性能は白ボックス教師からのものと比べてどの程度か？
• RQ4 ドメイン外データ（例：CIFAR-100画像）を用いて、ターゲットドメイン（例：CIFAR-10）向けの効果的な合成訓練データを生成できるか？
• RQ5 意味のないミックスアップ画像のみで訓練された学生モデルでも、実際のテスト画像に対して高い精度を達成できるか？

主な発見

• CIFAR-10で2,000枚のドメイン外画像と80,000枚の合成ミックスアップ画像のみを用いて、83.03%のトップ1精度を達成し、ドメイン内設定における80,000枚の実画像から得られる87.89%の精度と同等の性能を示した。
• 40,000枚の選択済み合成画像と2,000枚の実画像を用いた場合、77.89%の精度を達成し、実データが限られた状況下でも優れた性能を示した。
• 単純なアクティブラーニングやランダムサーチと比較して顕著な性能差（例：CIFAR-10で83.03% vs. 71.39%）を示しており、ミックスアップ選択における多様性制約の有効性が裏付けられた。
• ドメイン外データ（CIFAR-100）からの合成画像のみを用いても、80,000枚の合成画像で83.03%の精度を達成し、ドメインシフトに対しても高いロバストネスを示した。
• 実データを一切使用せず、10,000枚の合成画像のみで訓練した学生モデルでも64.10%の精度を達成しており、ミックスアップが蒸留におけるデータ拡張に有効であることを実証した。
• ブラックボックス教師モデルは、意味のないミックスアップ画像をラベル付けできるため、人間の評価者よりも生産的である。