[논문 리뷰] Splitting Steepest Descent for Growing Neural Architectures

Qiang Liu, Lemeng Wu외 1명|arXiv (Cornell University)|2019. 10. 06.

Human Pose and Action Recognition참고 문헌 29인용 수 20

한 줄 요약

이 논문은 자원이 제한된 환경에서 효율적인 신경망 아키텍처 최적화를 위해, ∞-Wasserstein 거리 공간에서 기능적 최강하강 프레임워크를 사용하여 뉘앙스를 분할함으로써 신경망을 적응적으로 확장하는 새로운 점진적 신경망 아키텍처 탐색 방법인 Splitting Steepest Descent (SSD)를 제안한다. 이 방법은 안장점에서 벗어나기 위해 2차 수준의 하강을 달성하며, 무작위 및 히우리스틱 분할 전략보다 뛰어나고, 자원이 제한된 환경에서 효율적이고 경량의 아키텍처 학습을 가능하게 한다.

ABSTRACT

We develop a progressive training approach for neural networks which adaptively grows the network structure by splitting existing neurons to multiple off-springs. By leveraging a functional steepest descent idea, we derive a simple criterion for deciding the best subset of neurons to split and a splitting gradient for optimally updating the off-springs. Theoretically, our splitting strategy is a second-order functional steepest descent for escaping saddle points in an $\infty$-Wasserstein metric space, on which the standard parametric gradient descent is a first-order steepest descent. Our method provides a new computationally efficient approach for optimizing neural network structures, especially for learning lightweight neural architectures in resource-constrained settings.

연구 동기 및 목표

• 자원이 제한된 환경에서 효율적이고 자동적인 신경망 아키텍처 최적화 문제를 해결하기 위해.
• 모델 구조의 이산 공간으로까지 기울기 기반 최적화를 확장하기 위해.
• 무작위 초기화나 고정된 추가 방식이 아닌, 뉘앙스 분할을 통한 신경망 성장에 대한 원칙적이고, 미분 가능한 방법을 개발하기 위해.
• 지속적 학습 및 경량 모델 학습에서 더 빠른 수렴과 향상된 성능을 달성하기 위해.
• 안장점에서 벗어나기 위해 최적의 분할을 통해 2차 수준의 기능적 최강하강 접근법을 제공하기 위해.

제안 방법

• 이 방법은 표준 매개변수 기반 기울기 하강과 뉘앙스를 후손으로 분할함으로써 네트워크를 확장하는 분할 단계를 번갈아 수행한다.
• 분할는 네트워크를 뉘앙스의 분포로 간주할 때, ∞-Wasserstein 거리 공간에서 기능적 최강하강 기준에 의해 이끌린다.
• 최적의 분할 방향은 후손의 무한소 변화에 따른 손실를 최소화하는 분할 기울기에서 유도된다.
• 분할 최강하강은 이론적으로 2차 하강임을 증명하였고, 표준 매개변수 기반 하강은 1차 하강임을 확인하였다.
• 압축된 데이터와 원본 데이터 분포 간의 유사도를 측정하기 위해 커널 기반 MMD(최대 평균 차이) 손실을 사용한다.
• 최적의 후손 배치를 가능하게 하기 위해 커널 함수의 2차 도함수를 통해 분할 행렬을 계산한다.

실험 결과

연구 질문

• RQ1 뉘앙스 분할을 통해 신경망 아키텍처를 성장시키는 원칙적이고, 미분 가능한 전략을 유도할 수 있는가?
• RQ2 ∞-Wasserstein 공간에서의 기능적 최강하강은 최적의 뉘앙스 분할을 어떻게 이끌 수 있는가?
• RQ3 분할 기반 아키텍처 성장 전략이 수렴성과 정확도에서 무작위 또는 히우리스틱 분할 전략보다 뛰어나게 되는가?
• RQ4 이 방법은 표준 매개변수 기반 기울기 하강보다 안장점에서 더 효과적으로 벗어나는가?
• RQ5 이러한 방법은 프랭크-울프, 무작위 초기화, 및 잘라내기 기반 접근법과 비교해 경량 모델 학습에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 Splitting Steepest Descent (최적의 분할)는 데이터 압축 실험에서 모든 반복 단계에서 가장 낮은 MMD 손실을 기록하며, 모든 베이스라인을 능가한다.
• 특히 초기 반복 단계에서 Random Split, New Initialization, Gradient Boosting보다 더 빠르게 수렴하고 더 낮은 훈련 손실에 도달한다.
• New Initialization 및 Gradient Boosting의 손실 곡선에서 관찰되는 '킥' 현상은 새로운 입자를 추가한 후 재가중치를 부여하기 때문이며, 제안된 방법은 이를 피한다.
• 이 방법은 큰 사전 학습 모델이 필요 없이 효과적인 모델 성장을 가능하게 하여, 모바일 및 IoT 기기와 같은 자원이 제한된 환경에 이상적이다.
• 실험 결과, SSD는 기존의 잘라내기 방법보다 더 정확한 소형 모델을 학습할 수 있음을 보여주며, 압축된 아키텍처 학습에서의 우수성을 입증한다.
• 이론적 분석을 통해 분할 단계가 기능 공간에서 2차 수준의 기능적 최강하강을 수행함을 확인하였으며, 이는 안장점에서의 벗어남을 가능하게 한다.