[논문 리뷰] DropNeuron: Simplifying the Structure of Deep Neural Networks

Wei Pan, Hao Dong외 1명|arXiv (Cornell University)|2016. 06. 23.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 25

한 줄 요약

이 논문은 깊이 있는 신경망을 훈련 중에 전체 뉴런을 영구적으로 제거함으로써 구조를 단순화하는 새로운 정규화 방법인 DropNeuron을 소개한다. 이는 들어오는 연결과 나가는 연결을 동시에 타겟으로 하는 전용 정규화 기법을 사용한다. 이 방법은 성능을 유지하면서 모델 크기를 크게 줄이며, LeNet-5의 완전히 연결된 층에서 최대 67%의 압축을 달성한다. 정규화 기반의 기존 방법들보다 뉴런 감소율이 뛰어나면서도 정확도를 손상시키지 않는다.

ABSTRACT

Deep learning using multi-layer neural networks (NNs) architecture manifests superb power in modern machine learning systems. The trained Deep Neural Networks (DNNs) are typically large. The question we would like to address is whether it is possible to simplify the NN during training process to achieve a reasonable performance within an acceptable computational time. We presented a novel approach of optimising a deep neural network through regularisation of net- work architecture. We proposed regularisers which support a simple mechanism of dropping neurons during a network training process. The method supports the construction of a simpler deep neural networks with compatible performance with its simplified version. As a proof of concept, we evaluate the proposed method with examples including sparse linear regression, deep autoencoder and convolutional neural network. The valuations demonstrate excellent performance. The code for this work can be found in http://www.github.com/panweihit/DropNeuron

연구 동기 및 목표

• 계산 및 저장 측면에서 과도하게 파rameter화된 큰 깊이 신경망(DNN)의 비효율성을 해결하기 위해.
• 훈련 중에 영구적으로 뉴런을 제거하는 것이 성능을 유지하면서 더 단순하고 작아진 네트워크를 도출할 수 있는지 탐색하기 위해.
• 전체 뉴런을 제거함으로써 구조적 희소성(structured sparsity)을 유도할 수 있는 정규화 메커니즘을 개발하기 위해.
• 희소 회귀, 오토에인코더, 컨볼루션 네트워크를 포함한 다양한 작업에 대해 방법을 평가하기 위해.
• 뉴런 제거가 기존의 표준 프루닝이나 드롭아웃 기반 방법보다 더 높은 압축률을 제공하는지 입증하기 위해.

제안 방법

• 그룹 로지스틱 정규화 기반의 두 가지 새로운 정규화 기법을 제안하여, 한 뉴런의 들어오는 연결과 나가는 연결의 모든 가중치를 동시에 페널티 처리함으로써 그 값이 0으로 수렴하도록 유도한다.
• 가중치 행렬의 전체 행(들어오는 연결)과 열(나가는 연결)에 대해 ℓ2-노름 정규화를 적용하여 뉴런 수준의 희소성 유도.
• 엔드 투 엔드 훈련 중에 정규화 기법을 적용하여, 관련된 모든 가중치가 0이 되면 해당 뉴런을 영구적으로 제거함.
• 최소 네트워크 구조 문제를 해결하기 위해 비선형성을 완화하는 볼록 최적화 기법을 활용함으로써 해결 가능하게 만든다.
• 네트워크 아키텍처나 추론 과정을 수정하지 않고도 표준 훈련 파이프라인에 정규화 기법을 통합함.
• 훈련 후 임계값 기반의 메커니즘을 통해 비활성화된 뉴런을 식별하고 제거함으로써, 단순화되고 압축된 네트워크를 도출함.

실험 결과

연구 질문

• RQ1 우리는 훈련 중에 전체 뉴런을 영구적으로 제거함으로써 아키텍처를 자동으로 단순화하는 깊이 신경망을 훈련시킬 수 있는가?
• RQ2 구조적 정규화를 통한 뉴런 제거가 기존의 프루닝이나 드롭아웃 기반 방법보다 더 높은 압축률을 달성할 수 있는가?
• RQ3 적은 수의 뉴런을 가진 단순화된 네트워크가 지도 및 비지도 학습 과제에서 전체 크기의 네트워크와 유사한 성능을 유지할 수 있는가?
• RQ4 제안된 정규화 기법이 ℓ1 정규화나 드롭아웃과 같은 기존 방법들과 비교해 희소성 및 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 뉴런 제거 기법이 컨볼루션 층과 완전히 연결된 층을 포함한 다양한 네트워크 아키텍처에 얼마나 널리 적용될 수 있는가?

주요 결과

• DropNeuron는 LeNet-5의 완전히 연결된 층에서 67.04%의 압축률을 달성하여, DO+P(1.81) 및 ℓ1+DO+P(17.95)와 같은 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• FC1과 FC2의 활성 뉴런 수를 각각 28.92%와 21.48%로 줄였으며, 이는 ℓ1+DO+P 기반의 33.13%와 62.5%보다 유의미하게 낮은 수준이었다.
• MNIST 분류 과제에서 DropNeuron는 압축된 모델을 사용하여 99.07%의 테스트 정확도를 달성했으며, 이는 전체 모델 및 기타 정규화 기반 기준 모델과 동일하거나 略적으로 뛰어난 성능을 보였다.
• 오토에인코더 실험에서, DropNeuron는 ℓ1 정규화와 함께 드롭아웃을 사용한 경우보다 더 낮은 NMSE를 기록했으며, 同시에 훨씬 더 많은 뉴런을 제거했다.
• 희소 선형 회귀, 오토에인코딩, 컨볼루션 신경망을 포함한 다수의 과제에서 일관된 성능을 보이며, 강건성과 일반화 능력을 입증했다.
• 컨볼루션 필터의 뉴런을 프루닝하지 않았음에도 불구하고, 완전히 연결된 층에서 60% 이상의 압축률을 달성하여, 파rameter가 많은 구성 요소에서의 효과성을 입증했다.