[논문 리뷰] Efficient batchwise dropout training using submatrices

Benjamin Graham, Jeremy Reizenstein외 1명|arXiv (Cornell University)|2015. 02. 09.

Advanced Neural Network Applications참고 문헌 11인용 수 7

한 줄 요약

이 논문은 배치 단위 드롭아웃을 제안하며, 미니배치 내 모든 샘플에 동일한 드롭아웃 마스크를 적용하여 깊은 신경망의 학습을 가속화하는 방법이다. 활성 연결만을 포함하는 부분행렬을 통해 계산을 수행함으로써, FLOPs와 메모리 사용량을 줄이며, 테스트 정확도를 유지하면서도 학습 시간을 최대 50%까지 단축시킨다. 이는 일반화 성능이 유사한 상태에서 독립적인 드롭아웃보다 빠른 속도를 기록한다.

ABSTRACT

Dropout is a popular technique for regularizing artificial neural networks. Dropout networks are generally trained by minibatch gradient descent with a dropout mask turning off some of the units---a different pattern of dropout is applied to every sample in the minibatch. We explore a very simple alternative to the dropout mask. Instead of masking dropped out units by setting them to zero, we perform matrix multiplication using a submatrix of the weight matrix---unneeded hidden units are never calculated. Performing dropout batchwise, so that one pattern of dropout is used for each sample in a minibatch, we can substantially reduce training times. Batchwise dropout can be used with fully-connected and convolutional neural networks.

연구 동기 및 목표

• 특히 큰 은닉층을 가진 신경망에서 드롭아웃 정규화를 적용한 학습의 높은 계산 비용을 해결하기 위해.
• 드롭아웃 앙상블의 크기가 매우 크다는 점을 고려할 때, 각 샘플마다 독립적인 드롭아웃 마스크가 일반화에 필수적인지 탐구하기 위해.
• 모든 미니배치에 동일한 드롭아웃 패턴을 적용하여 부분행렬 기반 계산을 가능하게 함으로써 더 효율적인 학습 방법을 개발하기 위해.
• 모델 성능이나 일반화 능력을 훼손하지 않으면서도 에포크당 학습 시간을 단축하기 위해.

제안 방법

• 각 샘플별 드롭아웃 마스크를 하나의 공통 드롭아웃 마스크로 대체하여, 모든 샘플에 동일하게 적용한다.
• 활성 유닛만 포함하는 가중치와 활성화의 부분행렬인 $W_k^{\text{dropout}}$ 및 $x_k^{\text{dropout}}$를 정의한다.
• 부분행렬 곱셈만을 사용하여 전방 및 역방향 전파를 수행함으로써 불필요한 연산을 제거한다.
• 표준 GEMM 커널(예: CUBLAS SGEMM)을 부분행렬에 적용하여 하드웨어 최적화된 행렬 곱셈을 활용한다.
• 완전연결층 및 합성곱층 네트워크, 잔차 구조 및 깊은 아키텍처에 모두 이 방법을 적용한다.
• 활성 은닉 유닛과 그에 해당하는 가중치 부분행렬만 저장함으로써 메모리 사용량을 최적화한다.

실험 결과

연구 질문

• RQ1 모든 미니배치에 동일한 드롭아웃 패턴을 적용함으로써 일반화 성능를 유지하면서 학습 시간을 단축시킬 수 있는가?
• RQ2 행렬 곱셈에서의 중복 FLOPs를 제거함으로써 배치 단위 드롭아웃이 계산 오버헤드를 줄이는가?
• RQ3 표준 벤치마크에서 배치 단위 드롭아웃과 독립적 드롭아웃 간의 테스트 정확도 및 학습 속도에서의 성능 비교는 어떠한가?
• RQ4 표준 BLAS 커널을 사용하여 GPU 하드웨어에서 부분행렬 계산 방법을 효율적으로 구현할 수 있는가?
• RQ5 대역폭 제약이 있는 분산 학습 환경에서 배치 단위 드롭아웃이 장점을 가지는가?

주요 결과

• MNIST 데이터셋에서 배치 단위 드롭아웃은 독립적 드롭아웃과 거의 동일한 테스트 정확도를 유지하면서도 에포크당 학습 시간을 최대 50% 단축시켰다.
• 작은 합성곱 네트워크를 사용한 CIFAR-10에서, 12번의 테스트 평균을 취했을 때 배치 단위 드롭아웃은 독립적 드롭아웃보다 略적으로 낮은 최소 테스트 오차(7.70%)를 기록했다(독립적 드롭아웃: 7.63%).
• CIFAR-10에서 12층의 깊은 합성곱 네트워크를 사용한 실험에서, 배치 단위 드롭아웃은 유사한 정규화 수준을 유지하면서도 독립적 드롭아웃 대비 에포크당 학습 시간을 절반 이하로 줄였다.
• 부분행렬 계산 덕분에 일반화 성능는 거의 동일한 수준을 유지하면서도 학습 효율성이 크게 향상되었다.
• 활성 유닛과 해당 부분행렬만 저장함으로써 메모리 사용량을 줄였고, GPU의 캐시 효율성을 향상시켰다.
• 저자들은 배치 단위 드롭아웃이 略적으로 더 강한 정규화 효과를 가지며, 테스트 오차 곡선이 왼쪽으로 이동하는 것으로 관측하여, 낮은 드롭아웃 비율에서도 더 나은 일반화 성능를 보임을 시사했다.