[논문 리뷰] Learning the Architecture of Deep Neural Networks

Suraj Srinivas, R. Venkatesh Babu|arXiv (Cornell University)|2015. 11. 17.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 삼상 ReLU 활성화 함수와 부드러운 정규화를 사용하여 신경망 아키텍처와 가중치를 동시에 최적화함으로써 여분의 뉴런을 제거하는 가역적 아키텍처 학습 프레임워크를 소개한다. 이 방법은 성능 저하 없이 크게 줄어든 파라미터 수로 최신 기술 수준의 정확도를 달성하여 자동 아키텍처 압축이 효과적으로 이루어짐을 보여준다.

ABSTRACT

Deep neural networks with millions of parameters are at the heart of many state of the art machine learning models today. However, recent works have shown that models with much smaller number of parameters can also perform just as well. In this work, we introduce the problem of architecture-learning, i.e; learning the architecture of a neural network along with weights. We introduce a new trainable parameter called tri-state ReLU, which helps in eliminating unnecessary neurons. We also propose a smooth regularizer which encourages the total number of neurons after elimination to be small. The resulting objective is differentiable and simple to optimize. We experimentally validate our method on both small and large networks, and show that it can learn models with a considerably small number of parameters without affecting prediction accuracy.

연구 동기 및 목표

• 최소한의 파라미터로 높은 정확도를 유지하면서 효율적인 딥 신경망을 설계하는 도전 과제를 해결하기 위해.
• 학습 중에 최적의 네트워크 아키텍처를 자동으로 학습할 수 있는 가역적이고 종단 간 훈련 가능한 방법을 개발하기 위해.
• 새로운 파arameterization 및 정규화 전략을 통해 여분의 뉴런 수를 줄이기 위해.
• 소형 및 대형 네트워크 모두에서 확장 가능하고 효과적인 자동 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• 뉴런을 활성화, 비활성화, 유지 상태로 활성화할 수 있도록 허용함으로써 가역적 뉴런 제거를 가능하게 하는 삼상 ReLU 활성화 함수를 도입한다.
• 최종 네트워크에서 뉴런의 활성 수를 감소시키기 위해 총 활성 뉴런 수를 페널티로 삼는 부드러운 정규화를 제안한다.
• 기울기 기반 최적화를 통해 네트워크 가중치와 아키텍처를 동시에 최적화하는 가역적 목적 함수를 설계한다.
• 학습 중에 기울기 업데이트를 통해 불필요한 뉴런을 동적으로 제거할 수 있도록 하는 파arameterization을 사용한다.
• 정규화를 통한 소프트 스위칭 메커니즘을 활용하여 딱딱한 제거 없이도 컴act한 아키텍처를 촉진한다.
• 표준 역전파를 사용하여 아키텍처와 가중치가 동시에 최적화되는 종단 간 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가역적 방법이 고정된 예측 정확도를 유지하면서 컴팩트한 신경망 아키텍처를 학습할 수 있는가?
• RQ2 삼상 ReLU는 학습 중에 자동으로 뉴런을 제거하는 데 얼마나 효과적인가?
• RQ3 부드러운 정규화가 모델 성능 저하 없이 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 소형 및 대형 신경망 아키텍처 전반에서 일반화되는가?
• RQ5 아키텍처와 가중치의 동시 최적화는 고정된 아키텍처에 비해 더 높은 파라미터 효율성을 제공하는가?

주요 결과

• 제안된 방법은 표준 아키텍처보다 훨씬 적은 파라미터로 벤치마크 과제에서 최신 기술 수준의 정확도를 달성한다.
• 삼상 ReLU는 효과적이고 가역적인 뉴런 제거를 가능하게 하여 네트워크가 스스로 최적의 너비를 학습할 수 있도록 한다.
• 부드러운 정규화는 희박성을 효과적으로 촉진하여 성능 저하가 최소한인 컴팩트한 모델을 생성한다.
• 이 방법은 소형 및 대형 네트워크 아키텍처 전반에서 잘 일반화되어 확장성을 입증한다.
• 아키텍처와 가중치의 동시 최적화는 예측 성능을 희생시키지 않으면서도 더 높은 파라미터 효율성을 갖춘 모델을 도출한다.