[論文レビュー] Feature-map-level Online Adversarial Knowledge Distillation

Inseop Chung, Seonguk Park+2 more|arXiv (Cornell University)|Feb 5, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用数 77

ひとこと要約

この論文は、対立的学習を通じてクラス確率知識と特徴マップ分布の両方を転送するオンライン知識蒸留を導入し、複数のネットワークを学習する循環スキームを提案。小規模ネットワークと大規模ネットワークのペアで特に性能向上をもたらす。

ABSTRACT

Feature maps contain rich information about image intensity and spatial correlation. However, previous online knowledge distillation methods only utilize the class probabilities. Thus in this paper, we propose an online knowledge distillation method that transfers not only the knowledge of the class probabilities but also that of the feature map using the adversarial training framework. We train multiple networks simultaneously by employing discriminators to distinguish the feature map distributions of different networks. Each network has its corresponding discriminator which discriminates the feature map from its own as fake while classifying that of the other network as real. By training a network to fool the corresponding discriminator, it can learn the other network's feature map distribution. We show that our method performs better than the conventional direct alignment method such as L1 and is more suitable for online distillation. Also, we propose a novel cyclic learning scheme for training more than two networks together. We have applied our method to various network architectures on the classification task and discovered a significant improvement of performance especially in the case of training a pair of a small network and a large one.

研究の動機と目的

• ロジットだけでなく中間特徴マップを活用してオンライン知識蒸留を改善する動機付け。
• 共訓練ネットワーク間で特徴マップ分布を対立的に蒸留することを提案。
• 2つ以上のネットワークをオンラインで効率的に訓練する循環学習スキームを開発。
• アーキテクチャ間・スケールを含む有効性を示す（同一アーキテクチャ間・クロスアーキテクチャ・ImageNetを含む）。

提案手法

• ロジットレベルの知識（CE + KLベースの相互蒸留）と特徴マップレベルの知識（対立的蒸留）を蒸留する。
• 各ネットワークにディスクリミネータを取り付け、自己の特徴マップ分布と他ネットの分布を区別させる。
• 各ネットワークを対応するディスクリミネータを欺くよう訓練し、特徴マップ分布を整列させる。
• アーキテクチャが異なる場合の特徴マップチャネルの不整合に対処する転送層を使用。
• 循環学習フレームワークを導入し、オンライン蒸留を2ネットワーク以上に拡張し、ディスクリミネータと計算を削減、1→2→…→K→1 の逐次蒸留フローを追加。

実験結果

リサーチクエスチョン

• RQ1 オンライン蒸留はロジットだけでなく特徴マップ分布を転送することで利益を得られるか？
• RQ2 オンライン設定において敵対的特徴マップ蒸留は直接的な特徴マップ整列損失（例：L1/L2）より優れているか？
• RQ3 循環学習スキームはオンライン蒸留を2ネットワーク以上に効果的にスケールさせるか？
• RQ4 提案手法は同一アーキテクチャおよび異なるアーキテクチャのネットワーク対に一般化し、ImageNetへもスケールするか？

主な発見

• 敵対的特徴マップ蒸留（AFD）はオンライン・オフラインの設定で直接的な特徴マップ整列法（L1/L1+KD）より優れている。
• AFDは小規模ネットワークと大規模ネットワークのペア、および同一アーキテクチャ・クロスアーキテクチャの組み合わせで利得をもたらす。
• 実証結果は CIFAR-100 の複数のアーキテクチャで顕著な改善を示し、ImageNet でも DML をベースラインとした場合に効果あり。
• 循環学習フレームワークは3つ以上のネットワークのオンライン訓練を効率化し、競争力のあるまたは優れた性能を実現。
• アブレーション研究はロジットレベルの相互蒸留と敵対的特徴マップ蒸留の両方が性能向上に寄与することを確認。