[논문 리뷰] Do Deep Convolutional Nets Really Need to be Deep and Convolutional?

Gregor Urban, Krzysztof J. Geras외 7명|PolyPublie (École Polytechnique de Montréal)|2016. 03. 17.

Advanced Neural Network Applications참고 문헌 22인용 수 107

한 줄 요약

이 논문은 실증적으로 CIFAR-10에서 얕은 모델이 distillation과 하이퍼파라미터 최적화에도 불구하고 심층 합성곱 신경망에 미치지 못한다는 것을 보여준다; 동일한 매개변수 예산 내에서 높은 정확도를 얻으려면 여러 합성곱 층이 필수적이다.

ABSTRACT

Yes, they do. This paper provides the first empirical demonstration that deep convolutional models really need to be both deep and convolutional, even when trained with methods such as distillation that allow small or shallow models of high accuracy to be trained. Although previous research showed that shallow feed-forward nets sometimes can learn the complex functions previously learned by deep nets while using the same number of parameters as the deep models they mimic, in this paper we demonstrate that the same methods cannot be used to train accurate models on CIFAR-10 unless the student models contain multiple layers of convolution. Although the student models do not have to be as deep as the teacher model they mimic, the students need multiple convolutional layers to learn functions of comparable accuracy as the deep convolutional teacher.

연구 동기 및 목표

• CIFAR-10에서 같은 매개변수 예산으로 얕은 네트가 심층 CNN과 대등해질 수 있는지 여부를 동기 부여한다.
• 얕은 CNN에 대한 베이지안 하이퍼파라미터 최적화를 활용한 교사-학생(distillation)의 효과를 평가한다.
• 깊은 교사 앙상블의 소프트 타깃과 하드 타깃으로 학습된 얕은 모델의 성능을 비교한다.
• 얕은 모델이 심층 모델의 정확도에 접근하기 위해 필요한 합성곱 층의 수를 정량화한다.

제안 방법

• 확장된 증강을 사용하여 CIFAR-10에서 최첨단 딥 합성곱 교사 앙상블(16개의 CNN)을 훈련한다.
• 앙상블 로짓(소프트 타깃)을 모방하도록 학습된 얕은 학생 모델을 훈련하기 위해 distillation을 사용한다. 하드 원-핫 레이블 대신.
• 학습 속도 향상을 위해 0–1 개의 합성곱 층을 가진 얕은 모델에 선형 병목을 적용한다.
• 학습률, 모멘텀, 가중치 스케일 및 네트워크 폭에 대해 Spearmint를 통한 가우시안 프로세스 기반의 베이지안 하이퍼파라미터 최적화를 수행한다.
• HSV 기반 시프트와 임의의 자르기/대칭으로 데이터를 확장하여 모델 압축을 위한 큰 전이 세트를 생성한다.
• 깊은 교사 앙상블에 대조적으로 (1–4개의 conv 층, 다양한 매개변수 예산으로) 얕은 학생들을 평가한다.

실험 결과

연구 질문

• RQ1 얕은 네트워크가 딥 CNN과 견줄 만한 매개변수 수를 가질 때, distillation으로 학습되면 CIFAR-10에서 딥 모델에 근접한 정확도를 달성할 수 있는가?
• RQ2 soft targets로의 distillation이 얕은 아키텍처가 CIFAR-10에서 딥 컨브 네트에 다가갈 수 있게 하는가?
• RQ3 고정된 매개변수 예산 하에서 얕은 모델이 경쟁력 있는 성능을 달성하기 위해 필요한 합성곱 층 수는 몇 개인가?
• RQ4 데이터 증가와 하이퍼파라미터 최적화가 효과적인 얕은 모방 모델 학습에 어떤 역할을 하는가?

주요 결과

• 얕은 모델은 같은 매개변수 예산 내에서 심층 합성곱 네트에 맞출 수 없으며 distillation에도 불구하고 불가능하다.
• 16개의 깊은 CNN 앙상블은 검증 정확도 93.8%를 달성한다(검증 세트 94.0%; 최종 테스트 세트 93.8%).
• 얕은 학생 CNN은 CIFAR-10 고정도에 이르려면 다수의 합성곱 층(3–4)이 필요하다; 1–2개 층은 심층 모델보다 뒤처진다.
• Distillation은 hard-target 학습에 비해 얕은 모델을 크게 향상시키며, 특히 매우 얕은 아키텍처(예: 1 conv 층)에서 그렇다.
• 합성곱 없이 얕은 완전연결 MLP는 현저히 성능이 떨어진다(예: distillation 시 ~70%대 vs CNN은 >90%).
• 하이퍼파라미터 최적화와 distillation에도 불구하고 여전히 심층 Conv 네트가 좁혀 주지만 얕은 학생에게 완전히 메우지 못하는 큰 '합성곱 간격'이 남아 있다.
• 최고의 단일 계층 MLP는 70.2% 정확도를 달성하여, distillation이 있어도 CIFAR-10에서 비-합성곱 얕은 모델의 한계를 보여준다.