[論文レビュー] KTAN: Knowledge Transfer Adversarial Network

Peiye Liu, Wu Liu+3 more|arXiv (Cornell University)|Oct 18, 2018

Advanced Neural Network Applications参考文献 21被引用数 15

ひとこと要約

KTANは、教師ネットワークの中間特徴マップと確率分布の両方を転送することで、学生ネットワークの性能を向上させる知識移転敵対的ネットワークを提案する。特徴マップ内の空間的相関を保持するための敵対的訓練と、構造的整合性を確保するための教師→学生層を用いることで、画像分類および物体検出ベンチマークで最先端の結果を達成し、既存のKD手法を上回る性能を発揮する。

ABSTRACT

To reduce the large computation and storage cost of a deep convolutional neural network, the knowledge distillation based methods have pioneered to transfer the generalization ability of a large (teacher) deep network to a light-weight (student) network. However, these methods mostly focus on transferring the probability distribution of the softmax layer in a teacher network and thus neglect the intermediate representations. In this paper, we propose a knowledge transfer adversarial network to better train a student network. Our technique holistically considers both intermediate representations and probability distributions of a teacher network. To transfer the knowledge of intermediate representations, we set high-level teacher feature maps as a target, toward which the student feature maps are trained. Specifically, we arrange a Teacher-to-Student layer for enabling our framework suitable for various student structures. The intermediate representation helps the student network better understand the transferred generalization as compared to the probability distribution only. Furthermore, we infuse an adversarial learning process by employing a discriminator network, which can fully exploit the spatial correlation of feature maps in training a student network. The experimental results demonstrate that the proposed method can significantly improve the performance of a student network on both image classification and object detection tasks.

研究の動機と目的

• ソフトマックス確率分布にのみ焦点を当て、中間特徴表現を無視する知識蒸留手法の限界を是正すること。
• 視覚タスクにおいて重要な空間的相関を保持する特徴マップの転送を改善することで、直接的な特徴マッチングで無視されがちな空間的相関を捉えること。
• ソフトマックス層のないアーキテクチャを含む、さまざまな学生ネットワークアーキテクチャに適用可能な汎用的なフレームワークの開発。
• 複雑な空間的構造をモデル化するため、特徴マップの転送と敵対的学習を組み合わせることで、学生ネットワークの一般化性能を向上させること。

提案手法

• フレームワークは、教師ネットワークの最終畳み込み層から抽出された高レベル特徴マップを共有知識として利用する。
• 教師→学生層を導入し、教師と学生のネットワーク間で特徴マップの次元を整合させる。これにより、多様なアーキテクチャ間での互換性が実現される。
• 生成的敵対的ネットワーク（GAN）に基づく訓練プロセスを採用。ディスクライマーは、実際の教師特徴マップと生成された学生特徴マップを区別する。
• 学生ネットワークは二重の目的関数で訓練される：教師特徴と一致させるためのMSE損失と、ディスクライマーを欺くための敵対的損失。
• 主なタスクのための正解ラベルを用いて、学生ネットワーク全体を一括最適化することで、エンドツーエンドの性能向上を確保する。
• 本手法は分類および物体検出タスクの両方へ適用可能であり、広範な適用性を示している。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練により、教師ネットワークの特徴マップから空間的相関情報を効果的に学生ネットワークに転送できるか？
• RQ2 中間表現を転送することと、ソフトマックス確率分布のみを転送することの両者を比較した場合、学生ネットワークの一般化性能にどのような差が生じるか？
• RQ3 ソフトマックス層のないアーキテクチャを含む多様な学生ネットワークアーキテクチャをサポートできる統一されたフレームワークを設計できるか？
• RQ4 MSE損失と敵対的損失を組み合わせることで、直接的な特徴マッチングを上回る特徴マップの整合性がどの程度向上するか？
• RQ5 提案手法は、画像分類や物体検出といった異なるコンピュータビジョンタスクに一般化可能か？

主な発見

• PASCAL VOC 2007物体検出ベンチマークにおいて、KTANは平均平均精度（mAP）72.78%を達成し、KD（70.92%）、FitNet（71.41%）、DLN（71.54%）を上回る結果を示した。
• KTANを用いた知識蒸留（KTAN+KD）により、mAPは72.91%にまで向上し、複数の知識移転戦略を組み合わせることの有効性が裏付けられた。
• 図2に示すように、KTANモデルは検出性能を顕著に向上させた。黄色のボクシングボックスは追加の正例検出を示し、赤のボックスは元の学生ネットワークと比較して誤検出が減少したことを示している。
• フレームワークは、ResNet-152教師からResNet-50学生への高レベル特徴表現の転送に成功し、空間的に整合性があり意味的に豊かな特徴を学習可能にした。
• アブレーションスタディの結果、敵対的訓練が特徴マップ内の空間的相関を効果的に捉えており、直接的な特徴マッチングよりも優れた一般化性能を実現していることが確認された。
• KTANは、画像分類および物体検出タスクの両方で最先端の性能を達成し、視覚タスク全体にわたる一般化能力を実証した。