[논문 리뷰] Diversity Networks

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|2015. 11. 16.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

Divnet는 신경망 레이어 내의 신경세포 다양성을 모델링하기 위해 결정성 점 프로세스(Determinantal Point Processes, DPPs)를 사용하는 새로운 프레임워크이다. 이 프레임워크는 다양성을 선택하고 중복성을 융합함으로써 모델 크기를 줄이면서 성능을 유지한다. 자동 아키텍처 튜닝을 가능하게 하며, 정확도 손실 없이 네트워크 복잡도를 감소시키는 데 기존의 프루닝 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Abstract: We introduce Divnet, a flexible technique for learning networks with diverse neurons. Divnet models neuronal diversity by placing a Determinantal Point Process (DPP) over neurons in a given layer. It uses this DPP to select a subset of diverse neurons and subsequently fuses the redundant neurons into the selected ones. Compared with previous approaches, Divnet offers a more principled, flexible technique for capturing neuronal diversity and thus implicitly enforcing regularization. This enables effective auto-tuning of network architecture and leads to smaller network sizes without hurting performance. Moreover, through its focus on diversity and neuron fusing, Divnet remains compatible with other procedures that seek to reduce memory footprints of networks. We present experimental results to corroborate our claims: for pruning neural networks, Divnet is seen to be notably superior to competing approaches.

연구 동기 및 목표

• 모델 효율성을 저해하는 깊이 신경망 내의 중복성과 비다양성 신경세포 문제를 해결하기 위해.
• 학습 중에 신경세포 다양성을 원칙적이고 유연하게 포착하기 위한 방법을 개발하기 위해.
• 다양성 기반 정규화를 통해 자동 네트워크 아키텍처 자동 튜닝을 가능하게 하기 위해.
• 정확도를 희생시키지 않고 모델 크기와 메모리 프로파일을 줄이기 위해.
• 기존의 모델 압축 기법(예: 프루닝)과의 호환성을 확보하기 위해.

제안 방법

• Divnet는 주어진 레이어 내의 신경세포에 대해 결정성 점 프로세스(Determinantal Point Process, DPP)를 사용하여 신경세포 다양성을 모델링한다.
• DPP는 표현 다양성과 상호 배타성 기반으로 다각도적인 신경세포의 부분집합을 선택한다.
• 선택된 다각도적 신경세포에 중복된 신경세포를 매개변수 평균화 또는 변환을 통해 융합한다.
• 표준 학습 및 프루닝 파이프라인과 자연스럽게 통합되어 엔드 투 엔드 최적화를 가능하게 한다.
• DPP 기반 선택은 암묵적인 정규화를 제공하여 일반화 성능 향상과 과적합 감소에 기여한다.
• 프레임워크는 다양성 기준에 따라 동적으로 뉴런 구성 조정을 통해 자동 아키텍처 탐색을 지원한다.

실험 결과

연구 질문

• RQ1 깊이 신경망 내에서 신경세포 다양성을 효과적으로 모델링하고 최적화할 수 있는가?
• RQ2 DPP 기반 신경세포 선택이 기존의 프루닝 방법에 비해 더 나은 모델 압축 및 성능을 이끌 수 있는가?
• RQ3 다양성 기반 정규화가 일반화 성능 향상과 모델 크기 감소에 얼마나 기여하는가?
• RQ4 다양성 기반 신경세포 융합 방식은 기존의 모델 압축 기법과 얼마나 호환되는가?
• RQ5 이 방법을 통해 데이터 기반의 자동, 자동화된 아키텍처 자동 튜닝이 가능한가?

주요 결과

• Divnet는 정확도 저하 없이 더 작은 네트워크를 생성함으로써 기존 방법에 비해 뛰어난 프루닝 성능을 달성한다.
• DPP 기반 신경세포 선택 메커니즘은 은닉층 내에서 신경세포 간의 다양성을 효과적으로 포착하고 강제한다.
• DPP 선택을 통한 신경세포 융합은 중복성을 감소시키고 더 컴act하고 효율적인 아키텍처로 이끈다.
• 이 방법은 다양성 기반 정규화를 암묵적으로 통해 네트워크 아키텍처 자동 튜닝을 효과적으로 가능하게 한다.
• Divnet는 무게 양자화 및 지식 증류와 같은 다른 메모리 절감 기법과도 호환된다.
• 실험 결과는 이 방법이 모델 크기를 크게 줄이면서도 정확도를 유지하거나 향상시킴을 확인한다.