[논문 리뷰] NeuNetS: An Automated Synthesis Engine for Neural Network Design

Atin Sood, Benjamin Elder외 18명|arXiv (Cornell University)|2019. 01. 17.

Advanced Neural Network Applications참고 문헌 76인용 수 6

한 줄 요약

NeuNetS는 이미지 및 텍스트 작업을 위한 맞춤형 고정확도 신경망을 수시간 내로 자동으로 설계하는 자동화된 신경망 합성 엔진입니다. 이는 두 단계 과정인 거시적 아키텍처 탐색과 미세조정 기반 레이어 최적화를 통해 작동합니다. 인간 수준의 성능을 크게 감소된 시간과 전문 지식으로 달성하여 인간 간섭을 최소화하고 빠르고 확장 가능한 AI 모델 개발을 가능하게 합니다.

ABSTRACT

Application of neural networks to a vast variety of practical applications is transforming the way AI is applied in practice. Pre-trained neural network models available through APIs or capability to custom train pre-built neural network architectures with customer data has made the consumption of AI by developers much simpler and resulted in broad adoption of these complex AI models. While prebuilt network models exist for certain scenarios, to try and meet the constraints that are unique to each application, AI teams need to think about developing custom neural network architectures that can meet the tradeoff between accuracy and memory footprint to achieve the tight constraints of their unique use-cases. However, only a small proportion of data science teams have the skills and experience needed to create a neural network from scratch, and the demand far exceeds the supply. In this paper, we present NeuNetS : An automated Neural Network Synthesis engine for custom neural network design that is available as part of IBM's AI OpenScale's product. NeuNetS is available for both Text and Image domains and can build neural networks for specific tasks in a fraction of the time it takes today with human effort, and with accuracy similar to that of human-designed AI models.

연구 동기 및 목표

• 정확도 및 메모리 사용량과 같은 고유한 응용 제약 조건에 맞춰 맞춤형 신경망에 대한 증가하는 수요를 해결하기 위해.
• 높은 수준의 데이터 과학자 의존도를 줄이기 위해 신경망 아키텍처 설계를 자동화하기 위해.
• 기존에 수주 또는 수개월이 걸리던 AI 모델 개발을 수시간 내로 단축시켜 맞춤형 AI를 더 빠르고 확장 가능하게 만들기 위해.
• 데이터 과학 팀이 아키텍처 설계에서 벗어나 모델 정밀조정에 집중할 수 있도록 하여 생산성과 비용 효율성을 높이기 위해.

제안 방법

• NeuNetS는 두 단계 합성 프로세스를 사용합니다: 깊이, 연결성, 레이어 유형을 포함한 전체 네트워크 아키텍처를 결정하는 거시적 합성.
• 미세조정 기반 합성은 가중치 분포 유사성 기반으로 최적의 컨볼루션 필터 선택 및 불필요한 연결 제거를 통해 개별 뉴런과 연결을 최적화합니다.
• 고정밀 성능 예측 기법을 통해 전체 훈련 없이도 정확도를 정확하게 예측할 수 있어 시간 소모가 큰 훈련 루프를 피할 수 있습니다.
• 모델 크기를 줄이기 위해 각 뉴런당 N개의 핵심 입력 연결만 유지하도록 신경망 프루닝을 적용한 후, 유사한 가중치 변수를 k개의 버킷으로 병합합니다.
• 프루닝 및 병합 후 가중치 변수를 재초기화하여 출력 행동을 유지한 후, 조기 정지 시점까지 훈련을 수행합니다.
• 데이터셋 크기에 기반한 GPU 예산 할당 전략을 사용하며, 검색 및 훈련을 합쳐 저(2시간), 중(5시간), 고(16시간)의 예산을 설정합니다.

실험 결과

연구 질문

• RQ1 자동화된 시스템이 인간이 설계한 모델 수준의 정확도를 수시간 내로 달성할 수 있는가?
• RQ2 거시적 아키텍처 탐색과 미세조정 기반 레이어 최적화로 구성된 이중 단계 합성 접근법이 모델 크기 감소와 효율성 향상에 얼마나 효과적인가?
• RQ3 고정밀 성능 예측이 신경망 아키텍처 탐색 중에 전체 훈련을 대체할 수 있는 정도는 어느 정도인가?
• RQ4 자동화된 신경망 합성 기술이 이미지 분류 및 텍스트 분류와 같은 다양한 도메인에 효과적으로 적용될 수 있는가?
• RQ5 프루닝, 병합, 재초기화 통합이 정확도를 훼손하지 않으면서 모델 효율성을 어떻게 향상시키는가?

주요 결과

• NeuNetS는 MNIST에서 0.64% 오차, SVHN에서 3.37% 오차를 기록하며 12개의 이미지 분류 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 정확도를 달성했으며, 이는 16 GPU 시간 이내에 달성되었습니다.
• 텍스트 분류 작업에서는 Snips에서 0.00% 오차, SMS 스팸에서 0.54% 오차를 기록하여 소규모 데이터셋에서도 높은 성능을 보였습니다.
• 프레임워크는 모델 개발 시간을 수주 또는 수개월에서 단지 수시간으로 단축시켰으며, 대규모 데이터셋에 대해 최대 16시간의 GPU 예산을 사용했습니다.
• 10,000개 이하의 예제를 가진 데이터셋에 대해서는 NeuNetS가 2시간 이내의 GPU 예산으로 작동했으며, 다양한 작업에서 높은 정확도를 유지했습니다.
• 프루닝, 가중치 병합, 재초기화의 조합은 파라미터 수를 줄이고 효율성을 향상시키면서도 모델 출력 행동을 유지했습니다.
• NeuNetS는 고정밀 성능 예측을 통한 자동 아키텍처 탐색이 인간이 설계한 모델의 정확도를 따라잡을 수 있음을 입증했으며, 수동 조정이 크게 줄어들었습니다.