[논문 리뷰] Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks

Lemeng Wu, Bo Liu외 2명|arXiv (Cornell University)|2021. 02. 17.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

Firefly Neural Architecture Descent는 현재 네트워크에 대해 $\epsilon$-근접 근사로 정의된 기능적 이웃 내에서 반복적으로 최적 아키텍처를 선택함으로써 동적으로 네트워크를 확장하는 원칙적이고 최강하강 프레임워크이다. 이는 넓이와 깊이에서의 민첩하고 효율적인 성장을 가능하게 하여, 더 작은, 더 정확한 모델을 통해 치명적인 잊음( catastrophic forgetting)을 피하면서 연속 학습에서 최신 기술 성능을 달성한다.

ABSTRACT

We propose firefly neural architecture descent, a general framework for progressively and dynamically growing neural networks to jointly optimize the networks' parameters and architectures. Our method works in a steepest descent fashion, which iteratively finds the best network within a functional neighborhood of the original network that includes a diverse set of candidate network structures. By using Taylor approximation, the optimal network structure in the neighborhood can be found with a greedy selection procedure. We show that firefly descent can flexibly grow networks both wider and deeper, and can be applied to learn accurate but resource-efficient neural architectures that avoid catastrophic forgetting in continual learning. Empirically, firefly descent achieves promising results on both neural architecture search and continual learning. In particular, on a challenging continual image classification task, it learns networks that are smaller in size but have higher average accuracy than those learned by the state-of-the-art methods.

연구 동기 및 목표

• 동적이고 점진적인 방식으로 신경망 파라미터와 아키텍처를 동시에 최적화하는 문제를 해결하기 위해.
• 성능 향상을 보장하지 못하는 히وري스틱 또는 무작위 네트워크 확장 방법의 한계를 극복하기 위해.
• 넓이와 깊이 확장을 모두 지원하는 일반적이고 유연한 프레임워크를 개발하기 위해.
• 기존 지식을 유지하고 잊음 현상을 줄이기 위해 원칙적인 네트워크 확장을 통해 효과적인 연속 학습을 가능하게 하기 위해.
• 이차 또는 조합적 탐색 기반 아키텍처 탐색 방법의 대안으로 확장 가능하고 효율적인 방법을 제공하기 위해.

제안 방법

• 이 방법은 기능적 이웃 $\partial(f_t, \epsilon)$ 위에서의 최강하강 최적화로 네트워크 확장을 수식화하며, 이웃 내에서 손실를 최소화하고 복잡도 제약 조건을 만족하는 $f_{t+1}$ 를 최적의 네트워크로 선택한다.
• ε가 작을 경우 테일러 근사를 사용하여 조합 최적화 문제를 탐욕적 선택 과정으로 단순화함으로써 효율적인 계산을 가능하게 한다.
• 기능적 변형의 통합 가능한 미분 가능 탐색 공간을 통해 넓이 확장(뉴런 추가)과 깊이 확장(층 추가)을 모두 지원한다.
• 연속 학습을 위해, 이전 지식을 유지하고 잊음 현상을 줄이기 위해 기능적으로 동일하지만 더 큰 아키텍처로 네트워크를 확장한다.
• 이 방법은 뉴런 분할을 넘어서는 임의의 구조적 변경(새로운 층과 뉴런 추가 포함)을 允허하는 일반화된 분할 최강하강의 일반화이다.
• 표준 신경망 구성 요소와 셀 기반 NAS(DARTS 등)에 적용할 수 있는 미분 가능하고 반복적인 절차로 구현되어 있다.

실험 결과

연구 질문

• RQ1 아키텍처와 파라미터를 동시에 최적화할 수 있는 원칙적이고 기울기 유사 하강 방법을 설계할 수 있는가?
• RQ2 일관된 프레임워크 내에서 넓이 확장과 깊이 확장을 모두 지원할 수 있도록 네트워크 확장을 얼마나 민감하게 설계할 수 있는가?
• RQ3 치명적인 잊음 현상을 줄임으로써 히وري스틱 또는 무작위 탐색 전략보다 우수한 성능을 내는가?
• RQ4 기존 최신 기술 대비 더 작은, 더 효율적인 모델로도 높은 정확도를 달성할 수 있는가?
• RQ5 테일러 근사를 통해 복잡한 아키텍처 탐색 공간에서 효율적이고 탐욕적인 선택을 어떻게 가능하게 하는가?

주요 결과

• 어려운 연속 이미지 분류 작업(20개 클래스로 분할된 CIFAR-100)에서 Firefly는 최신 기술 대비 크기가 더 작지만 평균 정확도가 높은 모델을 학습했다.
• Firefly는 최종 네트워크에서 단 80개의 파라미터로 CIFAR-100에서 91.03%의 정확도를 달성하여 Learn-to-Grow 및 Compact-Pick-Grow와 같은 방법들을 능가했다.
• 기존 지식을 유지하고 잊음 현상을 줄이기 위해 기능적으로 동일하지만 더 큰 네트워크를 동적으로 확장함으로써 치명적인 잊음 현상을 감소시켰다.
• 신경망 아키텍처 탐색에서 Firefly는 DARTS 기반 모델의 셀 구조를 성공적으로 최적화하여, 연속 학습을 넘어서 일반화 가능성도 입증했다.
• 이론적 근사치를 통해 기능적 이웃을 근사함으로써 비용이 많이 드는 이차 계산을 피하고 효율적이고 탐욕적인 네트워크 확장을 가능하게 했다.
• 실험 결과 Firefly는 정확성과 모델 효율성 측면에서 히وري스틱 기반 확장 방법을 일관되게 능가하는 것으로 나타났다.