[論文レビュー] P-KDGAN: Progressive Knowledge Distillation with GANs for One-class Novelty Detection

Zhiwei Zhang, Shifeng Chen+1 more|arXiv (Cornell University)|Jul 14, 2020

Anomaly Detection Techniques and Applications参考文献 25被引用数 5

ひとこと要約

本稿では、1クラスの異常検出のための大型で事前学習済みの教師GANから、コンパクトな学生GANへと知識を段階的に蒸留するP-KDGANというプログレッシブな知識蒸留フレームワークを提案する。中間特徴量における新規の蒸留損失関数と、2段階の訓練プロセス（まず固定重みでの知識転送、次に共同微調整）を用いることで、モデルサイズとFLOPsを最大700倍まで圧縮しながら、FMNISTではAUCが0.18%しか低下しない状態で最先端の性能を達成した。

ABSTRACT

One-class novelty detection is to identify anomalous instances that do not conform to the expected normal instances. In this paper, the Generative Adversarial Networks (GANs) based on encoder-decoder-encoder pipeline are used for detection and achieve state-of-the-art performance. However, deep neural networks are too over-parameterized to deploy on resource-limited devices. Therefore, Progressive Knowledge Distillation with GANs (PKDGAN) is proposed to learn compact and fast novelty detection networks. The P-KDGAN is a novel attempt to connect two standard GANs by the designed distillation loss for transferring knowledge from the teacher to the student. The progressive learning of knowledge distillation is a two-step approach that continuously improves the performance of the student GAN and achieves better performance than single step methods. In the first step, the student GAN learns the basic knowledge totally from the teacher via guiding of the pretrained teacher GAN with fixed weights. In the second step, joint fine-training is adopted for the knowledgeable teacher and student GANs to further improve the performance and stability. The experimental results on CIFAR-10, MNIST, and FMNIST show that our method improves the performance of the student GAN by 2.44%, 1.77%, and 1.73% when compressing the computation at ratios of 24.45:1, 311.11:1, and 700:1, respectively.

研究の動機と目的

• リソース制限のあるデバイスへの大規模で過パrameter化されたGANの1クラスの異常検出への導入の課題に対処すること。
• 教師GANからの有効な知識転送を妨げる、学生ネットワークのランダム初期化の限界を克服すること。
• 教師GANと学生GANの中間表現（潜在コードと再構成画像）の類似性を測る新しい蒸留損失を提案すること。
• 学習の安定性を高め、単一ステップの蒸留を超える学生ネットワークの性能向上を実現するための2段階のプログレッシブな訓練戦略を設計すること。
• 実世界の展開に適した、顕著に低い計算コストとパrameterコストで高い検出精度を達成すること。

提案手法

• 中間特徴量を比較する蒸留損失 $K_l = w_1K_1 + w_xK_x + w_2K_2$ を提案。$K_1$ と $K_2$ は潜在ベクトル $z_1, z_2$ と $\hat{z}_1, \hat{z}_2$ の差を測り、$K_x$ は再構成画像 $\hat{x}$ と $\widetilde{x}$ を比較する。
• 教師の重みを固定するか否か、および蒸留損失を学生GANの生成器と識別器の損失と組み合わせるかの違いにより、4つの異なる蒸留構造（KDGAN-1～KDGAN-4）を導入。
• 2段階のプログレッシブな訓練プロセスを実装：まず、教師の重みを固定した状態で、蒸留損失を用いて学生GANを訓練する。次に、教師と学生の両方のネットワークを共同で微調整する。
• 教師と学生の両方のネットワークに標準的なエンコーダ・デコーダ・エンコーダ構造のGANアーキテクチャを採用。再構成損失（$S_{con}$）、潜在空間の一貫性損失（$S_{enc}$）、敵対的訓練損失（$S_{adv}$）を用いる。
• 学生の損失 $L_g^S, L_d^S$ と教師の損失 $L_g^T, L_d^T$ に加えて、蒸留損失を組み合わせて、学生の学習をガイドする。
• ハイパーパramータ $w_{con}, w_{enc}, w_{adv}$ および $w_1, w_x, w_2$ を手動でチューニングし、安定した訓練のためそれぞれ10, 1, 1 および 1 に設定。

実験結果

リサーチクエスチョン

• RQ1 中間表現（潜在コードと再構成画像）に基づく蒸留損失は、1クラスの異常検出における教師GANから学生GANへの知識転送を効果的に行えるか？
• RQ2 教師の重みを固定した段階的知識転送の後、両方のネットワークを共同で微調整する2段階のプログレッシブな訓練戦略は、単一ステップの蒸留と比較して、学生の性能と訓練の安定性を向上させるか？
• RQ3 提案された蒸留フレームワークを用いて、ランダム初期化から学習を開始した学生GANは、教師GANと同等の性能を達成できるか？
• RQ4 提案されたP-KDGAN手法は、ベンチマークデータセットで高い検出精度を維持しながら、モデルサイズとFLOPsをどの程度圧縮できるか？
• RQ5 CIFAR-10、MNIST、FMNISTの各データセットにおいて、P-KDGANで訓練された学生GANのAUC性能は、最先端手法と比較してどの程度優れているか？

主な発見

• P-KDGAN-II-2-3が全データセットで最良の性能を示し、MNISTとFMNISTでは最良の単一ステップ蒸留手法（KDGAN-3）を上回り、CIFAR-10ではKDGAN-4を上回った。
• CIFAR-10では、P-KDGANにより学生のAUCが0.7305に向上し、ベースラインの学生GAN比で2.44%の向上を達成。FLOPsは24.45倍まで圧縮された。
• MNISTでは、P-KDGANにより学生のAUCが1.77%向上（0.9725に）し、FLOPsは311.11倍、パrameterは52.22倍に圧縮された。
• FMNISTでは、P-KDGANによりAUCが1.73%向上（0.9293に）し、FLOPsは700倍、パrameterは105.45倍に圧縮された。
• FMNISTでは、P-KDGANで訓練された最終的な学生モデルのAUCは教師モデルよりわずか0.18%低いにとどまり、極めて高い圧縮率にもかかわらず、性能の低下が最小限に抑えられていることを示した。
• 訓練曲線の結果から、P-KDGANは訓練ショックを軽減し、一部のデータセットでは学生ネットワークが教師を上回るAUCを達成するなど、プログレッシブな学習の有効性が確認された。