[논문 리뷰] Network Augmentation for Tiny Deep Learning

Han Cai, Chuang Gan외 2명|arXiv (Cornell University)|2021. 10. 17.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 전통적인 정규화 기법이 제한된 모델 용량으로 인해 악화시킬 수 있는 과소적합 문제를 완화하기 위해, 더 큰 아키텍처 내에서 소형 네트워크를 서브모델로 훈련시켜 성능을 향상시키는 Network Augmentation (NetAug) 방법을 제안한다. NetAug는 이미지 분류 및 객체 검출 벤치마크에서 추론 오버헤드 없이 ImageNet 정확도를 최대 2.2% 향상시키고, MACs를 38–41% 감소시킨다.

ABSTRACT

We introduce Network Augmentation (NetAug), a new training method for improving the performance of tiny neural networks. Existing regularization techniques (e.g., data augmentation, dropout) have shown much success on large neural networks by adding noise to overcome over-fitting. However, we found these techniques hurt the performance of tiny neural networks. We argue that training tiny models are different from large models: rather than augmenting the data, we should augment the model, since tiny models tend to suffer from under-fitting rather than over-fitting due to limited capacity. To alleviate this issue, NetAug augments the network (reverse dropout) instead of inserting noise into the dataset or the network. It puts the tiny model into larger models and encourages it to work as a sub-model of larger models to get extra supervision, in addition to functioning as an independent model. At test time, only the tiny model is used for inference, incurring zero inference overhead. We demonstrate the effectiveness of NetAug on image classification and object detection. NetAug consistently improves the performance of tiny models, achieving up to 2.2% accuracy improvement on ImageNet. On object detection, achieving the same level of performance, NetAug requires 41% fewer MACs on Pascal VOC and 38% fewer MACs on COCO than the baseline.

연구 동기 및 목표

• 제한된 모델 용량으로 인해 기존 정규화 기법이 악화시킬 수 있는 소형 신경망의 과소적합 문제를 해결하기 위해.
• 추론 비용을 증가시키지 않고 이미지 분류 및 객체 검출에서 소형 모델의 성능을 향상시키기 위해.
• 데이터나 가중치 수준의 노이즈가 아닌 아키텍처 증강을 통해 추가적인 지도 학습을 제공하는 훈련 방법을 개발하기 위해.
• 정규화가 아니라 네트워크 증강이 소형 모델에 더 효과적임을 입증하기 위해.
• 자원이 제한된 엣지 디바이스에서 더 나은 전이 학습 및 효율성 트레이드오프를 가능하게 하기 위해.

제안 방법

• NetAug는 훈련 중에 소형 신경망을 더 큰, 더 넓은 형태의 자기 자신 내에서 서브모델로 훈련시으며, 기울기와 가중치를 공유한다.
• 이 방법은 역방향 드롭아웃 메커니즘을 적용하여 소형 모델을 더 큰 모델에 통합해 추가적인 지도 학습을 제공한다.
• 훈련 중에 더 큰 모델에서 유도된 기울기를 사용해 소형 모델의 파라미터를 개선함으로써 학습 능력을 향상시킨다.
• 테스트 시에는 원래의 소형 모델만 사용되므로 추론 오버헤드가 없다.
• 이 방법은 지식 증류와 호환되며, 다른 기법과 조합하여 성능을 추가로 향상시킬 수 있다.
• 이 방법은 ImageNet, 세밀한 분류 세트, 객체 검출 벤치마크(Pascal VOC, COCO)를 포함한 여러 데이터셋에 적용된다.

실험 결과

연구 질문

• RQ1 아키텍처 증강이 소형 신경망에 대해 기존 정규화 기법보다 우월한가?
• RQ2 더 큰 네트워크 내에서 소형 모델을 서브모델로 훈련시키는 것이 과소적합을 완화하고 정확도를 향상시키는가?
• RQ3 NetAug는 세밀한 이미지 분류 및 객체 검출과 같은 후행 작업에서 성능 향상을 이끌 수 있는가?
• RQ4 NetAug는 MACs와 메모리 사용 측면에서 더 나은 모델 효율성 트레이드오프를 가능하게 하는가?
• RQ5 전이 학습 환경에서 NetAug는 지식 증류나 연장된 훈련과 비교해 어떻게 성능을 내는가?

주요 결과

• NetAug는 MobileNetV2-Tiny에서 ImageNet top-1 정확도를 최대 2.2% 향상시켜 기존 정규화 기법을 크게 능가한다.
• 객체 검출에서 NetAug는 Pascal VOC에서 MACs를 41% 감소시키고, COCO에서는 38% 감소시키며 mAP는 유지 또는 향상시킨다.
• ImageNet에서 NetAug는 추가 훈련 비용이 16.7%에 불과한 1.6%의 정확도 향상을 달성하며 추론 오버헤드가 없다.
• 전이 학습에서 NetAug로 사전 훈련된 모델은 Cub200 및 Pets와 같은 세밀한 분류 데이터셋에서 지식 증류나 더 긴 훈련으로 사전 훈련한 모델보다 성능이 뛰어나다.
• NetAug는 더 작은 입력 해상도에서도 정확도 손실 없이 객체 검출 작업에서 더 나은 성능-효율성 트레이드오프를 가능하게 한다.
• 대규모 모델에 효과적인 Detection mixup는 소형 모델에서는 성능을 떨어뜨리며, 이는 분류를 넘어서도 과소적합 문제가 지속됨을 확인한다.