[논문 리뷰] Bringing Giant Neural Networks Down to Earth with Unlabeled Data

Yehui Tang, Shan You외 3명|arXiv (Cornell University)|2019. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 15

한 줄 요약

이 논문은 라벨이 부족한 데이터와 풍부한 언라벨된 데이터만을 사용하여 거대한 신경망을 압축하는 방법인 PUD(라벨 없음 데이터를 통한 프루닝)를 제안한다. 이는 데이터셋 편향을 완화하기 위해 적대적 특징 정렬 기법을 활용한다. 이 방법은 라벨이 1,000개뿐인 CIFAR-10에서 최신 기술을 초월하는 정확도를 달성한다.

ABSTRACT

Compressing giant neural networks has gained much attention for their extensive applications on edge devices such as cellphones. During the compressing process, one of the most important procedures is to retrain the pre-trained models using the original training dataset. However, due to the consideration of security, privacy or commercial profits, in practice, only a fraction of sample training data are made available, which makes the retraining infeasible. To solve this issue, this paper proposes to resort to unlabeled data in hand that can be cheaper to acquire. Specifically, we exploit the unlabeled data to mimic the classification characteristics of giant networks, so that the original capacity can be preserved nicely. Nevertheless, there exists a dataset bias between the labeled and unlabeled data, which may disturb the training and degrade the performance. We thus fix this bias by an adversarial loss to make an alignment on the distributions of their low-level feature representations. We further provide theoretical discussions about how the unlabeled data help compressed networks to generalize better. Experimental results demonstrate that the unlabeled data can significantly improve the performance of the compressed networks.

연구 동기 및 목표

• 개인정보 보호, 보안 또는 상업적 제약으로 인해 원본 학습 데이터의 일부만 이용 가능한 상황에서 거대한 신경망을 압축하는 데 도전한다.
• 모델 프루닝 및 파인튜닝 과정에서 제한된 라벨 데이터와 풍부한 언라벨 데이터 간의 데이터셋 편향으로 인한 성능 저하를 해결한다.
• 언라벨된 데이터를 지식 전이의 대체 수 Mittel로 활용하여 압축된 모델에서 거대 네트워크의 분류 능력을 유지한다.
• 저수준 특징 표현의 적대적 정렬과 라데마처 손실을 통한 정규화를 통해 프루닝된 네트워크의 일반화 능력과 정확도를 향상시킨다.

제안 방법

• 완전한 라벨된 데이터셋에 접근할 수 없더라도, 사전 훈련된 거대한 네트워크의 부드러운 출력을 모의함으로써 언라벨된 데이터를 활용해 지식 전이를 가능하게 한다.
• 라벨된 데이터와 언라벨된 데이터의 저수준 특징 표현 간의 분포 편향을 줄이기 위해 적대적 손실을 도입한다.
• 라벨된 데이터와 언라벨된 데이터 양쪽에서의 지식 전이 손실을 조합한 다중 작업 훈련 목표를 설정하며, 언라벨된 샘플에 대해 개별 샘플의 신뢰도 가중치를 적용한다.
• 일반화 능력을 향상시키기 위해 라데마처 손실을 정규화 항으로 통합하며, 최적의 가중치는 0.001로 설정된다.
• 라벨된 데이터에 대한 지도 학습 손실, 언라벨된 데이터에 대한 지식 전이 손실, 그리고 적대적 특징 정렬을 결합하여 프루닝된 네트워크를 훈련한다.
• 사전 훈련된 거대한 네트워크를 사용해 언라벨된 데이터에 소프트 라벨을 생성하고, 이를 파인튜닝 중 프루닝된 네트워크의 지도 학습에 활용한다.

실험 결과

연구 질문

• RQ1 언라벨된 데이터가 거대한 신경망을 압축할 때 완전한 라벨된 학습 데이터가 부족한 상황에서 효과적으로 보완할 수 있는가?
• RQ2 모델 압축을 위한 지식 전이 과정에서 라벨된 데이터와 언라벨된 데이터 간의 데이터셋 편향을 어떻게 완화할 수 있는가?
• RQ3 라벨된 데이터가 극도로 제한된 상황에서 언라벨된 데이터가 프루닝된 네트워크의 일반화 능력과 정확도에 기여하는 정도는 어떠한가?
• RQ4 완전한 학습 데이터가 없는 상황에서 저수준 네트워크 레이어에서의 적대적 특징 정렬이 성능 향상에 어떻게 기여하는가?
• RQ5 지식 전이와 정규화 손실(예: 라데마처 손실)의 조합이 압축된 모델의 강건성과 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• 라벨이 1,000개뿐인 데이터와 언라벨된 데이터만을 사용하여 CIFAR-10에서 상위-1 정확도 91.14%를 달성하였으며, 기존 최신 기술보다 뛰어난 성능을 보였다.
• 언라벨된 데이터만을 사용해 지식 전이 손실을 적용한 경우, 라벨된 데이터가 전혀 없는 베이스라인 대비 정확도가 10.84% 향상되었으며, 이는 언라벨된 데이터가 강력한 신호를 제공함을 시사한다.
• 라벨된 데이터와 언라벨된 데이터를 함께 사용하고 적대적 정렬을 적용한 경우, 라벨된 데이터만으로 지식 전이를 수행한 경우보다 정확도가 2.26% 향상되었다.
• η = 0.001인 라데마처 손실은 최적의 정규화를 제공하며, 정규화 없이 대비해 일반화 능력을 향상시키고 정확도를 최대 1.92% 향상시켰다.
• 데이터 분포 이탈로 인한 성능 저하가 크게 감소하였으며, 라벨된 데이터 수가 100, 500, 1,000일 때 모두 일관된 성능 향상을 보였다.
• 적대적 특징 정렬 손실은 라벨된 데이터와 언라벨된 데이터 간의 도메인 이탈을 효과적으로 줄여 특징 표현 정렬을 향상시키고 모델의 일반화 능력을 향상시켰다.