[논문 리뷰] Fast ConvNets Using Group-wise Brain Damage

Vadim Lebedev, Victor Lempitsky|arXiv (Cornell University)|2015. 06. 08.

Advanced Neural Network Applications참고 문헌 35인용 수 19

한 줄 요약

이 논문은 구조적 프루닝 방법인 그룹별 뇌 손상(group-wise brain damage)을 제안하며, 컨볼루션 커널 텐서를 그룹 단위로 희박화시켜 ConvNets의 속도를 향상시킨다. 학습 중 그룹 희박성 정규화를 활용함으로써, 저감된 컨볼루션에서 행렬 곱셈 연산을 줄이며, AlexNet의 버티브레이션 레이어에서 최대 8.5배의 속도 향상을 달성하면서 정확도가 1% 뿐 감소하였고, 동시에 자동으로 수용장역과 특징 맵 프루닝을 가능하게 한다.

ABSTRACT

We revisit the idea of brain damage, i.e. the pruning of the coefficients of a neural network, and suggest how brain damage can be modified and used to speedup convolutional layers. The approach uses the fact that many efficient implementations reduce generalized convolutions to matrix multiplications. The suggested brain damage process prunes the convolutional kernel tensor in a group-wise fashion by adding group-sparsity regularization to the standard training process. After such group-wise pruning, convolutions can be reduced to multiplications of thinned dense matrices, which leads to speedup. In the comparison on AlexNet, the method achieves very competitive performance.

연구 동기 및 목표

• 큰 ConvNets의 계산 병목 현상을 해결하기 위해, 정확도에 큰 영향을 주지 않으면서도 컨볼루션 레이어의 속도를 향상시키는 것.
• 높은 파라미터 희박성에도 불구하고 실용적인 속도 향상을 제공하지 못하는 비구조적 프루닝의 한계를 극복하는 것.
• 컨볼루션의 행렬 곱셈 감소를 활용하여 더 빠른 추론을 가능하게 하는 구조적 희박성 방법을 도입하는 것.
• 그룹별 희박성 정규화를 통해 데이터 기반으로 최적의 수용장역과 불필요한 특징 맵을 자동으로 탐지하는 것.
• 그룹별 프루닝이 텐서 분해 기반 가속화 방법보다 속도 향상 효율성에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 효율적인 딥러닝 라이브러리에서 표준인 im2col(저감) 변환을 사용하여 일반화된 컨볼루션을 행렬 곱셈으로 변환하는 것.
• 4차원 컨볼루션 커널 텐서의 요소들을 구조적 블록(예: 공간적 또는 채널 그룹)으로 그룹화하여 함께 프루닝할 수 있도록 하는 것.
• 스토하스틱 그래디언트 디센트 중에 잘라낸 l2,1 그룹 희박성 정규화를 적용하여 커널 가중치 전체 그룹이 0으로 프루닝되도록 유도하는 것.
• 검증 성능에 기반해 그룹 프루닝을 위한 임계값 θ를 동적으로 조정하여 속도 향상과 정확도의 균형을 이루는 것.
• 반복적인 프루닝과 피지컬 튜닝을 수행하여 점진적으로 희박성을 증가시키면서도 모델 정확도를 유지하는 것.
• 계층적 그룹 희박성 정규화를 사용하여 유용할 경우 전체 특징 맵을 제거(0 희박성 패턴)하도록 명시적으로 유도하는 것.

실험 결과

연구 질문

• RQ1 그룹 희박성 정규화에 의해 이끌리는 컨볼루션 커널의 구조적 프루닝이 ConvNet 추론에서 측정 가능한 속도 향상을 이끌 수 있는가?
• RQ2 그룹별 뇌 손상은 정확도 손실과의 트레이드오프에서 비구조적 프루닝 및 텐서 분해 기반 방법보다 뛰어난가?
• RQ3 그룹별 희박성을 통해 학습 과정이 최적의 수용장역 형태와 크기를 자동으로 탐지할 수 있는가?
• RQ4 성능 저하 없이 얼마나 많은 전체 특징 맵을 데이터 기반으로 프루닝할 수 있는가?
• RQ5 이 방법은 초기 필터 크기와 깊이가 다른 AlexNet과 VGGNet과 같은 다양한 아키텍처에 일반화될 수 있는가?

주요 결과

• 제안된 그룹별 뇌 손상 방법은 AlexNet의 버티브레이션 레이어(conv2 및 conv3)에서 최대 8.5배의 속도 향상을 달성하면서도 상위 1위 정확도가 1% 뿐 감소하였다.
• 이 방법은 전체 특징 맵의 자동이고 데이터 기반의 프루닝을 가능하게 하였으며, VGGNet 레이어에서 64개 중 29개가 제거되어 원래 아키텍처의 구조적 부족함을 시사하였다.
• 희박화로 인해 INRIA Holidays 데이터셋에서 3.2배의 속도 향상이 이루어졌고, 성능 저하가 거의 없었음(0.783 mAP → 0.780 mAP).
• 최적화 과정에서 더 원형에 가까우면서 중심에 집중된 수용장역이 학습되었으며, 다른 연구의 결과와 일치하였다.
• 유사한 정확도 손실에서 텐서 분해 기반 방법보다 속도 향상 효율성이 뛰어났다.
• 이 방법은 작은 3×3 필터를 가진 네트워크, 예를 들어 VGGNet에서도 효과적이었으며, 13%의 커널 밀도(τ=0.13)를 달성하면서도 상위 1위 정확도가 0.2% 뿐 감소하였다.