[논문 리뷰] P-KDGAN: Progressive Knowledge Distillation with GANs for One-class Novelty Detection

Zhiwei Zhang, Shifeng Chen외 1명|arXiv (Cornell University)|2020. 07. 14.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 한 명의 대규모 사전 훈련된 교사 GAN에서 단순한 학생 GAN으로 지식을 전달하는 프로그레시브 지식 정복 프레임워크인 P-KDGAN을 제안한다. 중간 특징에 대한 새로운 정복 손실과 두 단계 훈련 과정—먼저 고정된 가중치를 통한 지식 전달, 그 다음 공동 미세조정—을 사용함으로써, 모델 크기와 FLOPs를 최대 700배 압축하면서도 상태의 성능을 달성하였으며, FMNIST에서 AUC가 0.18% 뿐 감소하였다.

ABSTRACT

One-class novelty detection is to identify anomalous instances that do not conform to the expected normal instances. In this paper, the Generative Adversarial Networks (GANs) based on encoder-decoder-encoder pipeline are used for detection and achieve state-of-the-art performance. However, deep neural networks are too over-parameterized to deploy on resource-limited devices. Therefore, Progressive Knowledge Distillation with GANs (PKDGAN) is proposed to learn compact and fast novelty detection networks. The P-KDGAN is a novel attempt to connect two standard GANs by the designed distillation loss for transferring knowledge from the teacher to the student. The progressive learning of knowledge distillation is a two-step approach that continuously improves the performance of the student GAN and achieves better performance than single step methods. In the first step, the student GAN learns the basic knowledge totally from the teacher via guiding of the pretrained teacher GAN with fixed weights. In the second step, joint fine-training is adopted for the knowledgeable teacher and student GANs to further improve the performance and stability. The experimental results on CIFAR-10, MNIST, and FMNIST show that our method improves the performance of the student GAN by 2.44%, 1.77%, and 1.73% when compressing the computation at ratios of 24.45:1, 311.11:1, and 700:1, respectively.

연구 동기 및 목표

• 자원 제한된 장치에서 일종의 이상 탐지에 사용하기 위해 대규모 과도하게 파rameter화된 GAN을 구현하는 데 도전하는 것.
• 교사 GAN으로부터 효과적인 지식 전달을 방해하는 학생 네트워크의 무작위 초기화의 한계를 극복하는 것.
• 교사와 학생 GAN의 중간 표현(잠재 코드 및 재구성된 이미지) 간 유사도를 측정하는 새로운 정복 손실을 개발하는 것.
• 학습 안정성을 향상시키고 단일 단계 정복보다 뛰어난 학생 네트워크 성능을 달성하기 위해 프로그레시브 훈련 전략을 설계하는 것.
• 실제 구현에 적합한 높은 탐지 정확도를 확보하면서도 계산 비용과 파라미터 수를 크게 줄이는 것.

제안 방법

• 중간 특징을 비교하는 손실 함수 $K_l = w_1K_1 + w_xK_x + w_2K_2$ 를 제안한다. $K_1$ 과 $K_2$ 는 잠재 벡터 $z_1, z_2$ 와 $\hat{z}_1, \hat{z}_2$ 의 차이를 측정하고, $K_x$ 는 재구성된 이미지 $\hat{x}$ 와 $\widetilde{x}$ 를 비교한다.
• 교사의 가중치를 동결할지 여부와 정복 손실이 학생 GAN의 생성자 및 판별자 손실과 병합되는지 여부에 따라 달라지는 네 가지의 별도 정복 구조(KDGAN-1에서 KDGAN-4까지)를 도입한다.
• 두 단계 프로그레시브 훈련 과정을 구현한다: 첫 번째 단계에서는 고정된 교사 가중치를 사용하여 정복 손실을 통해 학생 GAN을 훈련하고, 두 번째 단계에서는 교사 및 학생 네트워크를 함께 미세조정한다.
• 교사 및 학생 모두 표준 인코더-디코더-인코더 GAN 아키텍처를 사용하며, 재구성 손실($S_{con}$), 잠재 공간 일관성 손실($S_{enc}$), 그리고 적대적 훈련 손실($S_{adv}$)을 포함한다.
• 정복 손실을 표준 GAN 손실($L_g^S, L_d^S$ 는 학생용, $L_g^T, L_d^T$ 는 교사용)과 함께 적용하여 학생의 학습을 이끌어낸다.
• 수동 조정을 통해 하이퍼파라미터 $w_{con}, w_{enc}, w_{adv}$ 와 $w_1, w_x, w_2$ 를 최적화하며, 안정적인 훈련을 위해 각각 10, 1, 1 및 1로 설정한다.

실험 결과

연구 질문

• RQ1 중간 표현(잠재 코드 및 재구성된 이미지)을 기반으로 한 정복 손실이 일종의 이상 탐지에서 교사 GAN에서 학생 GAN으로 지식을 효과적으로 전달할 수 있는가?
• RQ2 고정된 교사 가중치를 사용한 지식 전달 후 공동 미세조정을 수행하는 두 단계 프로그레시브 훈련 전략이 단일 단계 정복보다 학생 성능과 훈련 안정성을 향상시키는가?
• RQ3 제안된 정복 프레임워크를 사용하여 무작위 초기화 상태에서 훈련된 학생 GAN이 교사 GAN과 유사한 성능을 달성할 수 있는가?
• RQ4 제안된 P-KDGAN 방법이 기준 데이터셋에서 높은 탐지 정확도를 유지하면서 모델 크기와 FLOPs를 어느 정도 압축할 수 있는가?
• RQ5 CIFAR-10, MNIST, FMNIST에서 AUC 기준으로 P-KDGAN으로 훈련된 학생 GAN의 성능이 최신 기술 대비 어떻게 비교되는가?

주요 결과

• P-KDGAN-II-2-3 가 모든 데이터셋에서 최고의 성능을 기록하였으며, MNIST와 FMNIST에서는 최고의 단일 단계 정복 방법(KDGAN-3)을, CIFAR-10에서는 KDGAN-4를 초월하였다.
• CIFAR-10에서 P-KDGAN 은 기준 학생 GAN 대비 AUC를 2.44% 향상시켰으며(F1: 0.7305), FLOPs는 24.45배 감소시켰다.
• MNIST에서는 P-KDGAN 이 학생 AUC를 1.77% 향상시켜 0.9725로 개선했고, FLOPs는 311.11배, 파라미터 수는 52.22배 감소시켰다.
• FMNIST에서는 P-KDGAN 이 AUC를 1.73% 향상시켜 0.9293로 개선했으며, FLOPs는 700배, 파라미터 수는 105.45배 감소시켰다.
• FMNIST에서 P-KDGAN 으로 훈련된 최종 학생 모델은 교사 모델 대비 AUC가 오직 0.18% 뿐 낮아, 극도로 압축된 상태에서도 성능 손실가 최소화되었음을 보여주었다.
• 훈련 곡선 분석 결과 P-KDGAN 이 훈련 충격을 줄이고, 일부 데이터셋에서는 학생 네트워크가 AUC에서 교사 모델을 초월할 수 있도록 하여 프로그레시브 학습의 효과를 확인하였다.