[논문 리뷰] Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting

Lemeng Wu, Mao Ye외 3명|arXiv (Cornell University)|2020. 03. 23.

Neural Networks and Applications참고 문헌 34인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처 최적화를 위한 새로운 방법인 서명 분할 최강하강법(Signed Splitting Steepest Descent, S3D)을 제안한다. S2D(Splitting Steepest Descent) 프레임워크를 확장하여 뉴런을 양수 및 음수 가중치를 가진 복제본으로 분할할 수 있도록 한다. 양의 정부호 분할 행렬에 의해 발생하는 '분할 안정성' 조건을 제거함으로써 S3D는 국소 최적점에서 벗어나고, CIFAR-100, ImageNet, ModelNet40에서 S2D 및 이전 방법보다 더 작은 크기이면서 더 정확하고 에너지 효율적인 네트워크를 학습한다.

ABSTRACT

Developing efficient and principled neural architecture optimization methods is a critical challenge of modern deep learning. Recently, Liu et al.[19] proposed a splitting steepest descent (S2D) method that jointly optimizes the neural parameters and architectures based on progressively growing network structures by splitting neurons into multiple copies in a steepest descent fashion. However, S2D suffers from a local optimality issue when all the neurons become "splitting stable", a concept akin to local stability in parametric optimization. In this work, we develop a significant and surprising extension of the splitting descent framework that addresses the local optimality issue. The idea is to observe that the original S2D is unnecessarily restricted to splitting neurons into positive weighted copies. By simply allowing both positive and negative weights during splitting, we can eliminate the appearance of splitting stability in S2D and hence escape the local optima to obtain better performance. By incorporating signed splittings, we significantly extend the optimization power of splitting steepest descent both theoretically and empirically. We verify our method on various challenging benchmarks such as CIFAR-100, ImageNet and ModelNet40, on which we outperform S2D and other advanced methods on learning accurate and energy-efficient neural networks.

연구 동기 및 목표

• 분할 최강하강법(S2D)에서 발생하는 국소 최적성 문제를 해결하기 위해, 양의 정부호 분할 행렬에 의해 유도되는 '분할 안정성' 뉴런으로 인해 최적화가 정체되는 현상에 대응한다.
• 분할에 음수 가중치를 포함시켜 S2D의 제약 조건을 초월해 손실 감소를 지속할 수 있는 원리적인 방법을 개발한다.
• 더 강력한 이론적 수렴 보장을 확립하고, 컴act하고 정확하며 에너지 효율적인 신경망 학습에서의 실증 성능을 향상시킨다.
• CIFAR-100, ImageNet, ModelNet40 등 다양한 벤치마크에서 서명 분할(특히 삼중분할 및 4중분할)의 효과를 입증한다.

제안 방법

• 서명 분할 최강하강법(S3D)을 도입하여, 뉴런을 양수 및 음수 가중치를 가진 복수의 복제본으로 분할할 수 있도록 S2D를 일반화한다.
• 분할 행렬의 최소 및 최대 고유값을 사용하여 최적의 분할 규칙을 유도함으로써, 분할 행렬이 양의 정부호일 경우에도 손실 감소가 가능하도록 한다.
• 총 파라미터 수 또는 FLOPs 제약 조건 하에서 각 뉴런에 대해 최적의 분할 방식(이진, 삼중분할, 4중분할)을 선택하기 위해 분할 기반의 배낭 문제 공식을 사용한다.
• 명시적인 행렬 형성 없이도 분할 행렬의 최소 및 최대 고유값을 효율적으로 계산하기 위해 자동 미분를 활용한 레일리 몫 기반 기울기 하강법을 적용한다.
• 배낭 문제에 대한 볼록 최적화를 적용하여, 뉴런 간 분할 구성 선택을 스케일러블하고 미분 가능하게 구현한다.
• 매개변수 기반 기울기 갱신과 서명 분할을 통한 아키텍처 하강법을 번갈아 적용하는 최적화 기법을 통합한다.

실험 결과

연구 질문

• RQ1 뉴런 분할 시 음수 가중치를 允허함으로써 S2D에서 국소 최적점을 유도하는 '분할 안정성' 조건을 제거할 수 있는가?
• RQ2 서명 분할은 신경망 아키텍처 탐색에서 더 강력한 이론적 수렴 보장과 향상된 실증 성능을 이끌어낼 수 있는가?
• RQ3 혼합 부호를 가진 삼중분할 및 4중분할을 사용할 경우, 이진 양수 분할에 비해 더 높은 모델 정확도와 효율성을 달성할 수 있는가?
• RQ4 어려운 벤치마크에서 S3D는 S2D 및 기타 최첨단 방법에 비해 정확도, 파라미터 수, FLOPs 측면에서 어떻게 비교되는가?
• RQ5 미분 가능한 배낭 공식은 아키텍처 탐색 중 네트워크 크기와 손실 감소를 효과적으로 균형 잡는 데 기여하는가?

주요 결과

• S3D는 총 0.30M 파라미터와 73.69M FLOPs를 사용하여 CIFAR-100에서 70.19%의 Top-1 정확도를 달성하였고, 유사 조건에서 S2D-5(69.69%)를 능가한다.
• 배낭 기반 분할 전략을 사용함으로써 S3D는 72.19M FLOPs로 70.01%의 정확도를 달성하였으며, 계산 비용은 약간 감소시키면서도 높은 성능 유지를 이룬다.
• 음수 가중치 허용을 통해 분할 안정성 문제를 제거함으로써, 분할 행렬이 양의 정부호일 경우에도 손실 감소를 계속할 수 있다.
• CIFAR-100, ImageNet, ModelNet40에서 S3D는 S2D 및 기타 고급 방법보다 작고 정확하며 에너지 효율적인 네트워크 학습에서 뚜렷한 성능 향상을 보였다.
• 이론적 분석 결과, S3D는 손실 감소가 가능한 조건이 모든 분할 행렬이 0이 되지 않는 한 보장되며, 더 강력한 최적성 개념으로 수렴함을 확인하였다.
• 실증 결과는 특히 양수 및 음수 이진 분할의 조합이 실질적으로 매우 효과적임을 입증하였다.