[논문 리뷰] Residual Squeeze VGG16

Hussam Qassim, David Feinzimer외 1명|arXiv (Cornell University)|2017. 05. 05.

Advanced Neural Network Applications참고 문헌 31인용 수 7

한 줄 요약

이 논문은 VGG16 유사 아키텍처에 SqueezeNet의 Fire 모듈과 잔차 연결을 통합한 압축된 딥 컨볼루션 신경망인 ResSquVGG16을 제안한다. Places365-Standard에서 미리 훈련되지 않은 상태에서 훈련한 결과, VGG16 수준의 정확도(Top-1: 55.2%, Top-5: 78.4%)를 달성하면서 모델 크기를 88.4% 작게 하고 훈련 시간을 23.86% 빠르게 하였다.

ABSTRACT

Deep learning has given way to a new era of machine learning, apart from computer vision. Convolutional neural networks have been implemented in image classification, segmentation and object detection. Despite recent advancements, we are still in the very early stages and have yet to settle on best practices for network architecture in terms of deep design, small in size and a short training time. In this work, we propose a very deep neural network comprised of 16 Convolutional layers compressed with the Fire Module adapted from the SQUEEZENET model. We also call for the addition of residual connections to help suppress degradation. This model can be implemented on almost every neural network model with fully incorporated residual learning. This proposed model Residual-Squeeze-VGG16 (ResSquVGG16) trained on the large-scale MIT Places365-Standard scene dataset. In our tests, the model performed with accuracy similar to the pre-trained VGG16 model in Top-1 and Top-5 validation accuracy while also enjoying a 23.86% reduction in training time and an 88.4% reduction in size. In our tests, this model was trained from scratch.

연구 동기 및 목표

• 높은 정확도를 유지하면서 모델 크기와 훈련 시간을 줄이는 컴act한 딥 신경망을 설계하는 것.
• 자원이 제한된 장치에 딥 네트워크를 구현하는 데 도전하는 문제를 해결하기 위해 파rameter 효율성과 잔차 학습을 통합하는 것.
• SqueezeNet의 Fire 모듈을 VGG16 유사 아키텍처에 잔차 연결과 함께 통합하는 효과를 탐색하는 것.
• 대규모 스냅샷 데이터셋에서 미리 훈련되지 않은 상태로 훈련된 소형 딥 네트워크가 경쟁 가능한 성능을 달성할 수 있는지 평가하는 것.
• 하이브리드 아키텍처 구성 요소를 사용하여 효율적이고 정확한 이미지 분류의 새로운 베이스라인을 설정하는 것.

제안 방법

• 모델은 VGG16와 유사한 16개의 컨볼루션 레이어를 사용하지만, 파rameter 효율성을 위해 표준 컨볼루션 블록 대신 SqueezeNet의 Fire 모듈을 사용한다.
• 각 Fire 모듈은 파라미터와 FLOPs를 줄이기 위해 1x1 컨볼루션으로 이루어진 스위치 레이어와 1x1 및 3x3 컨볼루션으로 이루어진 확장 레이어로 구성된다.
• 심층 네트워크에서의 기울기 소실 및 성능 저하 문제를 완화하기 위해 각 Fire 모듈 뒤에 잔차 연결을 추가한다.
• 무작위 경사 하강법, 가중치 감쇠 및 데이터 증강을 사용하여 MIT Places365-Standard 데이터셋에서 미리 훈련되지 않은 상태로 훈련한다.
• 모듈식 설계를 통해 잔차 학습을 다른 네트워크 설계에 최소한의 수정으로 통합할 수 있도록 한다.
• 모델 크기와 훈련 시간을 사전 훈련된 VGG16과 비교하여 효율성 향상을 평가한다.

실험 결과

연구 질문

• RQ1 Fire 모듈과 잔차 연결을 갖춘 심층 네트워크가 상당히 작고 빠르면서도 VGG16 수준의 성능을 달성할 수 있는가?
• RQ2 SqueezeNet의 파라미터 효율적인 모듈과 잔차 학습의 조합이 심층 아키텍처에서 훈련 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 Places365-Standard에서 미리 훈련되지 않은 상태로 훈련된 모델이 사전 훈련된 VGG16의 정확도에 얼마나 가까이 도달할 수 있는가?
• RQ4 VGG 유사 구조에서 표준 컨볼루션을 Fire 모듈로 대체할 경우, 모델 크기, 훈련 시간, 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 잔차 연결이 압축된 심층 네트워크 아키텍처에서 훈련을 효과적으로 안정화시킬 수 있는가?

주요 결과

• ResSquVGG16 모델은 Places365-Standard 데이터셋에서 검증 정확도 Top-1: 55.2% 및 Top-5: 78.4%를 달성하였다.
• 사전 훈련된 VGG16 대비 모델 크기가 88.4% 감소하여 엣지 장치에 배포하기에 매우 적합하였다.
• 비록 미리 훈련되지 않은 상태로 훈련되었음에도 불구하고, VGG16 대비 훈련 시간이 23.86% 감소하였다.
• 최소한의 초모수 튜닝으로도 경쟁 가능한 성능를 유지하여, Fire 모듈과 잔차 연결 통합의 효과를 입증하였다.
• 파라미터 효율적인 모듈과 잔차 학습을 조합함으로써 높은 정확도를 달성하면서도 계산 비용을 줄일 수 있음을 확인하였다.
• 모델의 성능는 대규모 데이터셋에서 사전 훈련 없이도 심층적이고 컴팩트한 네트워크를 훈련시킬 수 있음을 검증하였다.