[논문 리뷰] Compacting Neural Network Classifiers via Dropout Training

Yotaro Kubo, George Tucker외 1명|arXiv (Cornell University)|2016. 11. 18.

Speech Recognition and Synthesis참고 문헌 18인용 수 11

한 줄 요약

이 논문은 유닛별 드롭아웃 유지 확률을 이중지수 사전확률로 정규화함으로써 훈련 중에 여분의 은닉 유닛을 자동으로 제거할 수 있도록 하는 드롭아웃 압축 기법을 소개한다. 이 방법은 원래 파라미터의 50% 미만으로도 음성 인식 작업에서 최신 기술 수준의 정확도를 달성하며, 성능 저하 없이 추론 속도를 2.5배 향상시킨다.

ABSTRACT

We introduce dropout compaction, a novel method for training feed-forward neural networks which realizes the performance gains of training a large model with dropout regularization, yet extracts a compact neural network for run-time efficiency. In the proposed method, we introduce a sparsity-inducing prior on the per unit dropout retention probability so that the optimizer can effectively prune hidden units during training. By changing the prior hyperparameters, we can control the size of the resulting network. We performed a systematic comparison of dropout compaction and competing methods on several real-world speech recognition tasks and found that dropout compaction achieved comparable accuracy with fewer than 50% of the hidden units, translating to a 2.5x speedup in run-time.

연구 동기 및 목표

• 신경망 배포 시 모델 성능과 추론 효율성 간의 상충 관계를 해결하기 위해.
• 드롭아웃의 정규화 이점을 유지하면서도 훈련 중에 은닉 유닛을 자동으로 구조적으로 프루닝할 수 있도록 하기 위해.
• 후행 압축 또는 재학습 없이 네트워크 구조와 파라미터를 동시에 최적화하는 방법을 개발하기 위해.
• 기본 모델 및 기존의 압축 기법에 비해 정확도를 유지하거나 향상시키면서도 추론 속도를 크게 향상시키기 위해.
• 드롭아웃 유지율에 대한 확률적 사전확률을 사용하여 네트워크의 희박성과 단순화를 유도할 수 있는지 탐색하기 위해.

제안 방법

• 각 유닛별 드롭아웃 유지 확률을 도입하고, 0과 1에 날카롭게 집중된 이중지수 사전확률을 사용하여 유닛이 항상 드롭되거나 항상 활성화되도록 유도한다.
• 변분 추론을 사용하여 유지 확률의 사후분포를 근사함으로써, 확률적 경사 하강법을 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• 희박성 유도 사전확률을 사용하며, 초수치 α와 β를 통해 압축률과 수렴 속도를 제어한다.
• 각 유닛에 대해 이진 결정(0 또는 1)으로 향하도록 사전확률 초수치에 대해 안내하는 애너일링 스케줄을 적용한다.
• 표준 백프로파게이션을 사용해 네트워크를 훈련하며, 드롭아웃 마스크는 각 유닛의 학습된 유지 확률에 기반해 샘플링된다.
• 수렴 후 유지 확률이 거의 0인 유닛들을 제거함으로써 추론에 적합한 단순화된 네트워크가 도출된다.

실험 결과

연구 질문

• RQ1 최적화 과정 중에 여분의 은닉 유닛이 자동으로 제거되면서 드롭아웃의 정규화 이점을 유지할 수 있는 신경망을 훈련시킬 수 있는가?
• RQ2 유닛별 드롭아웃 유지 확률에 대한 확률적 사전확률이 피드포워드 네트워크의 구조적 희박성을 효과적으로 유도할 수 있는가?
• RQ3 결과로 도출된 단순화된 네트워크가 전체 모델과 비교해 유사하거나 더 높은 정확도를 달성하면서도 상당한 추론 속도 향상을 이룰 수 있는가?
• RQ4 기존의 압축 기법인 SVD, L1 프루닝, 지식 정복과 비교해 정확도와 효율성 측면에서 본 논문의 방법은 어떠한가?
• RQ5 이 방법은 음성 인식에서 bMMI와 같은 순서 기반 분류적 미세조정을 포함한 표준 훈련 파이프라인에 효과적으로 통합될 수 있는가?

주요 결과

• 드롭아웃 압축은 원래 파라미터의 50% 미만으로도 모든 음성 인식 작업에서 기준 모델과 유사하거나 더 낮은 단어 오류율을 달성했다.
• 평균적으로 은닉 유닛 수를 약 50% 감소시켜 추론 시간을 2.5배 빠르게 했다.
• 특히 교차 엔트로피 훈련 단계에서 SVD 기반 압축 및 지식 정복보다 우수한 성능을 보였다.
• 순서 기반 분류적 미세조정(bMMI) 이후에도 드롭아웃 압축 모델은 강력한 성능을 유지하여 표준 훈련 워크플로우와의 호환성을 입증했다.
• 유지 확률이 11 에포크 내에 0 또는 1로 수렴함으로써 훈련 중에 빠르고 안정적인 구조 학습이 가능함을 시사했다.
• 드롭아웃 압축에 최적화된 사전확률 초수치는 애너일링 드롭아웃보다 더 빠른 수렴 속도를 보였으며, 후자는 전체 결정론적 추론에 도달하기 위해 18 에포크가 필요했다.