[논문 리뷰] Do Deep Nets Really Need to be Deep?

Jimmy Ba, Rich Caruana|arXiv (Cornell University)|2013. 12. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 1,480

한 줄 요약

이 논문은 지식 정련을 통해 깊이 있는 모델을 모방하도록 훈련시킴으로써 얕은 순환 신경망이 TIMIT 음소 인식 및 CIFAR-10 이미지 분류에서 깊이 있는 합성곱 신경망과 비교할 만한 성능을 달성할 수 있음을 보여준다. 사전 훈련된 깊이 있는 네트워크의 로짓을 타겟으로 삼아 얕은 학생 네트워크를 훈련시켰을 때, 파라미터 수가 적거나 유사한 경우 원래의 깊이 있는 모델의 정확도에 도달하거나 이를 초월하는 성능을 기록하였다. 이는 높은 성능을 내기 위해 깊이가 본질적으로 필요하지 않다는 것을 시사한다.

ABSTRACT

Currently, deep neural networks are the state of the art on problems such as speech recognition and computer vision. In this extended abstract, we show that shallow feed-forward networks can learn the complex functions previously learned by deep nets and achieve accuracies previously only achievable with deep models. Moreover, in some cases the shallow neural nets can learn these deep functions using a total number of parameters similar to the original deep model. We evaluate our method on the TIMIT phoneme recognition task and are able to train shallow fully-connected nets that perform similarly to complex, well-engineered, deep convolutional architectures. Our success in training shallow neural nets to mimic deeper models suggests that there probably exist better algorithms for training shallow feed-forward nets than those currently available.

연구 동기 및 목표

• 깊이 있는 신경망이 시각 및 음성 작업에서 최상의 성능을 내기 위해 진정으로 깊이를 필요로 하는가를 조사하는 것.
• 얕은 네트워크가 이전에는 깊이 있는 아키텍처에 기인한 복잡한 함수를 학습할 수 있는가를 확인하는 것.
• 정련을 통한 모델 압축이 얕은 네트워크가 깊이 있는 네트워크의 정확도를 유사한 파라미터 수로 따라잡을 수 있는가를 평가하는 것.
• 깊이 있는 네트워크의 성능 향상 요인이 아키텍처의 깊이인지, 더 나은 훈련 절차와 인덕티브 바이어스인지 평가하는 것.

제안 방법

• 표준 훈련 절차와 교차 엔트로피 손실을 사용하여 원본 레이블 데이터로 깊이 있는 신경망(선생)을 훈련한다.
• 사전 훈련된 깊이 있는 네트워크를 사용하여 무라벨 데이터에서 로짓(소프트맥스 이전 값)을 생성하여 합성 훈련 타겟을 만든다.
• 얕은 완전 연결 피드포워드 네트워크(학생)를 L2 손실을 사용하여 깊이 있는 네트워크의 로짓을 재구성하도록 훈련한다.
• 하드 레이블이 아닌 소프트 레이블(로짓)을 사용하여 지식 정련을 수행함으로써 더 나은 일반화와 더 세밀한 학습이 가능하도록 한다.
• 테스트 세트에서 학생의 성능을 원래의 깊이 있는 네트워크 및 기타 얕은 기준 모델과 비교한다.
• 앙상블 모델을 선생으로 사용하여 학생의 정확도를 향상시킴으로써 정련 방법의 확장 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 얕은 피드포워드 네트워크가 음성 및 이미지 인식 작업에서 깊이 있는 합성곱 신경망과 비교할 만한 성능을 달성할 수 있는가?
• RQ2 깊이 있는 네트워크의 성능 우월성이 아키텍처의 깊이에서 기인하는가, 아니면 더 나은 인덕티브 바이어스와 훈련 절차에서 기인하는가?
• RQ3 깊이 있는 선생 모델에서의 지식 정련을 통해 얕은 학생 네트워크가 파라미터 수가 적거나 유사한 경우 선생의 정확도를 따라잡거나 초월할 수 있는가?
• RQ4 얕은 네트워크에는 본질적인 표현 능력의 한계가 존재하는가, 아니면 주로 최적화 및 정규화 문제에서 기인하는가?
• RQ5 무라벨 데이터의 가용성 또는 더 높은 정확도의 선생 모델이 얕은 학생 모델의 성능 향상에 어느 정도 기여하는가?

주요 결과

• 깊이 있는 모델을 모방하도록 훈련된 얕은 피드포워드 네트워크가 TIMIT 및 CIFAR-10 양쪽 모두에서 최신 기술의 깊이 있는 합성곱 신경망과 비교할 만한 테스트 정확도를 달성했다.
• TIMIT에서 16만 파라미터를 가진 얕은 네트워크(SNN-MIMIC-160K)는 파라미터 수가 10배나 많은 더 깊은 모델의 성능을 따라잡는 데 성공했으며, 이는 높은 정확도를 내기 위해 깊이가 필수적인 것은 아님을 보여준다.
• 앙성 모델을 사용하여 선생의 정확도를 높이자 학생 모델의 성능도 비례적으로 향상되었으며, 이는 학생의 표현 능력이 제한 요소가 아니라는 것을 시사한다.
• 깊이 있는 모델보다 더 많은 파라미터를 가졌음에도 불구하고, 얕은 모방 네트워크는 깊이 있는 모델 대비 6~12배 더 빠르게 훈련되었으며, GPU에서 1~2시간이면 완료되었고, 깊이 있는 모델은 8~12시간이 소요되었다.
• 직접 훈련된 얕은 네트워크와 정련을 통해 훈련된 얕은 네트워크 간의 성능 격차는 뚜렷했으며, 이는 현재의 학습 알고리즘이 원본 데이터에서 얕은 네트워크를 직접 훈련시키는 데 어려움을 겪고 있음을 보여준다.
• 깊이 있는 네트워크와 동일한 파라미터 수를 가진 얕은 모델도 정련을 통해 유사한 정확도를 달성할 수 있었으며, 이는 깊이 있는 네트워크가 학습하는 함수가 본질적으로 깊이가 필요하지 않다는 것을 시사한다.