[논문 리뷰] Diversity Networks: Neural Network Compression Using Determinantal Point Processes

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|2015. 11. 16.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 50

한 줄 요약

이 논문은 깊이 신경망의 중복 파rameter 문제를 해결하기 위해 DPP(Determinantal Point Processes)를 사용하여 레이어 내에서 다양한 뉴런을 선택하고, 중복된 뉴런을 융합하기 위해 연결 가중치를 재조정하는 새로운 신경망 압축 방법인 Divnet을 제안한다. 이는 성능 저하를 최소화하면서 모델 크기를 크게 줄이는 데 성공한다. 이 방법은 네트워크 아키텍처의 자동 최적화를 가능하게 하며, 기존의 프루닝 기법들보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

We introduce Divnet, a flexible technique for learning networks with diverse neurons. Divnet models neuronal diversity by placing a Determinantal Point Process (DPP) over neurons in a given layer. It uses this DPP to select a subset of diverse neurons and subsequently fuses the redundant neurons into the selected ones. Compared with previous approaches, Divnet offers a more principled, flexible technique for capturing neuronal diversity and thus implicitly enforcing regularization. This enables effective auto-tuning of network architecture and leads to smaller network sizes without hurting performance. Moreover, through its focus on diversity and neuron fusing, Divnet remains compatible with other procedures that seek to reduce memory footprints of networks. We present experimental results to corroborate our claims: for pruning neural networks, Divnet is seen to be notably superior to competing approaches.

연구 동기 및 목표

• 깊이 신경망에서 중복되는 파rameter로 인해 증가하는 메모리 사용량과 학습 비용 문제를 해결하기 위해.
• 은닉층 내 뉴런의 다양성을 증진시켜 네트워크 크기를 원칙적이고도 융통성 있게 줄일 수 있는 방법을 개발하기 위해.
• 재학습 최소화를 유지하면서 성능을 유지하는 자동, 후기학습 기반 네트워크 압축을 가능하게 하기 위해.
• 뉴런 융합 후 모델 정확도를 유지할 수 있도록 하는 재가중치 조정 절차를 설계하기 위해.
• 다른 압축 기법과 호환되며 다양한 네트워크 아키텍처에 적용 가능한 방법을 만들기 위해.

제안 방법

• 뉴런 활성화 벡터에서 유도된 커널 행렬을 사용하여 레이어 내 뉴런의 다양성을 DPP(Determinantal Point Process)로 모델링하기 위해.
• DPP 분포에서 다양성이 보장된 뉴런 부분집합을 샘플링하여 유지할 뉴런으로 사용하기 위해.
• 제거된 뉴런의 影향을 선택된 뉴런으로 전달하기 위해 연결 가중치를 조정하는 재가중치 절차를 적용하기 위해.
• 뉴런 유사도를 측정하고 다양성을 증진하기 위해 가우시안 RBF 또는 기타 유사도 측정법을 기반으로 한 DPP 커널을 사용하기 위해.
• 활성화 함수, 학습률, 네트워크 깊이와 무관하게 작동하여 광범위한 호환성을 확보하기 위해.
• 학습 데이터의 부분집합 크기를 조절하여 샘플링 및 재가중치 정밀도를 조정할 수 있도록 하여 속도와 정확도의 균형을 맞추기 위해.

실험 결과

연구 질문

• RQ1 DPP 기반의 뉴런 샘플링이 무작위 또는 크기 기반 프루닝보다 더 효과적이고 다양한 네트워크 압축을 가능하게 할 수 있는가?
• RQ2 제안된 재가중치 메커니즘이 뉴런 융합 후에도 모델 성능을 성공적으로 유지하는가?
• RQ3 다양한 데이터셋과 아키텍처에서 Divnet은 기존의 프루닝 기법과 비교해 정확도와 모델 크기 감소 측면에서 어떻게 성능을 냈는가?
• RQ4 Divnet은 아키텍처 수정 없이도 CNN의 완전히 연결된 레이어 및 기타 깊은 네트워크에 효과적으로 적용될 수 있는가?
• RQ5 DPP의 사용이 표준 프루닝 전략에 비해 더 나은 일반화 또는 암묵적 정규화를 가능하게 하는가?

주요 결과

• Divnet은 MNIST, CIFAR-10, SVHN 데이터셋 전반에서 경쟁 프루닝 기법들보다 일관되게 높은 테스트 정확도를 기록했다.
• MNIST에서 Divnet은 100개의 뉴런을 사용할 때 테스트 오차 0.49 ± 0.004를 달성했으며, 동일한 크기의 모든 베이스라인보다 뛰어났다.
• CIFAR-10에서 Divnet은 100개의 뉴런을 사용할 때 테스트 오차 0.51 ± 0.005를 기록했으며, 다른 방법들보다 뚜렷이 우수했다.
• 재가중치 단계만으로도 모든 베이스라인에서 성능 향상이 관찰되어 그 일반적 유용성을 입증했다.
• 샘플링 및 재가중치 과정은 학습보다 수 개의 주기 만큼 빠르게 수행되어 Divnet이 후기학습 압축에 실용적으로 적용 가능함을 보여주었다.
• DPP 커널에서 기대 샘플 크기가 마지막 은닉층에서 일관되게 작게 나타나 출력층 연결의 빠른 수렴 가능성을 시사했다.