[논문 리뷰] Resource-Efficient Neural Architect

Yanqi Zhou, Siavash Ebrahimi외 4명|arXiv (Cornell University)|2018. 06. 12.

Multimodal Machine Learning Applications인용 수 29

한 줄 요약

RENA는 자원 제약 조건이 있는 신경망 아키텍처를 효율적으로 탐색하기 위해 네트워크 임베딩을 사용하는 강화학습 기반 신경망 아키텍처 탐색 프레임워크이다. 모델 크기(<3M 파라미터)와 계산 강도(>100 FLOPs/바이트)의 엄격한 제약 조건 하에서 CIFAR-10(2.95% 테스트 오차) 및 Google Speech Commands(93.65% 정확도)에서 최신 기술 수준의 정확도를 달성하여 샘플 효율적이고 하드웨어 인지적인 NAS를 실현한다.

ABSTRACT

Neural Architecture Search (NAS) is a laborious process. Prior work on automated NAS targets mainly on improving accuracy, but lacks consideration of computational resource use. We propose the Resource-Efficient Neural Architect (RENA), an efficient resource-constrained NAS using reinforcement learning with network embedding. RENA uses a policy network to process the network embeddings to generate new configurations. We demonstrate RENA on image recognition and keyword spotting (KWS) problems. RENA can find novel architectures that achieve high performance even with tight resource constraints. For CIFAR10, it achieves 2.95% test error when compute intensity is greater than 100 FLOPs/byte, and 3.87% test error when model size is less than 3M parameters. For Google Speech Commands Dataset, RENA achieves the state-of-the-art accuracy without resource constraints, and it outperforms the optimized architectures with tight resource constraints.

연구 동기 및 목표

• 정확도를 우선시하는 반면 계산 자원 효율성은 간과하는 신경망 아키텍처 탐색(NAS) 분야의 격차를 해소한다.
• 모델 크기, 계산 복잡도, 계산 강도와 같은 엄격한 하드웨어 제약 조건 하에서도 높은 성능을 내는 자동화된 NAS 프레임워크를 개발한다.
• 최소한의 학습 반복 횟수로도 샘플 효율적인 탐색을 실현하기 위해 네트워크 임베딩과 정책 기반 강화학습을 활용한다.
• 해석 가능한 하드웨어 메트릭스를 보상 함수에 통합하여 NAS 결과가 엣지 디바이스에 실제 구현 가능한 요구사항과 일치하도록 한다.

제안 방법

• 신경망 아키텍처를 학습된 LSTM 기반 인코더를 사용해 임베딩으로 표현하여 구조적 및 운영적 특성을 포착한다.
• 정책 네트워크를 사용해 네트워크 임베딩에 이산 동작(삽입, 제거, 스케일링)을 적용함으로써 새로운 아키텍처를 생성한다.
• 모델 크기, FLOPs, 계산 강도 등의 자원 제약 위반을 방지하기 위해 보상 함수를 수정하여 하드웨어 효율성에 직접 최적화할 수 있도록 한다.
• 경험 재생 및 에피소드당 10개의 자식 모델에 대한 배치 업데이트를 사용하여 Adam 최적화 기법을 적용해 제어자(컨트롤러)를 강화학습으로 훈련시킨다.
• 무작위 또는 무방향 탐색을 피하기 위해 작은 기본 아키텍처에서 출발하여 점진적으로 개선한다.
• 사전 정의된 레이어 유형과 하이퍼파라미터를 공유하는 검색 공간을 사용하여 체계적이고 해석 가능한 아키텍처 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 NAS 프레임워크가 모델 크기와 계산 강도에 대한 엄격한 제약 조건 하에서도 고정확도 신경망 아키텍처를 효율적으로 발견할 수 있는가?
• RQ2 랜덤 탐색이나 완전 탐색에 비해 네트워크 임베딩이 얼마나 샘플 효율적인 아키텍처 탐색을 가능하게 하는가?
• RQ3 보상 함수를 얼마나 수정하여 FLOPs/바이트, 파라미터 수 등의 해석 가능한 하드웨어 메트릭스를 통합하여 구현 가능한 모델을 향한 탐색을 이끌 수 있는가?
• RQ4 특히 엣지 디바이스에서 자원 제약 조건이 엄격한 상황에서 수작업으로 최적화된 아키텍처를 초월할 수 있는가?
• RQ5 실제 작업에서 다양한 종류의 제약 조건(예: 크기 전용, 계산 강도 전용, 병합 제약)에 따라 탐색 성능는 어떻게 달라지는가?

주요 결과

• CIFAR-10에서 RENA는 계산 강도 >100 FLOPs/바이트 조건 하에서 2.95%의 테스트 오차를 기록했으며, 모델 크기 <3M 파라미터 조건 하에서는 3.87%의 오차를 기록하여 엄격한 제약 조건 하에서도 뛰어난 성능을 입증했다.
• Google Speech Commands 데이터셋에서 키워드 스트링 태스크에 대해 RENA는 모델 크기 <0.1M 파라미터 및 계산 강도 >10 FLOPs/바이트 조건 하에서 93.65%의 테스트 정확도를 달성했으며, 수작업 최적화된 기준 모델을 초월했다.
• 제약 조건 없이 RENA는 깊이 분리형 컨볼루션과 GRU를 사용해 최신 기술 수준의 95.81% 정확도 모델을 발견했으며, 이는 인간이 설계한 모델와 동등하거나 이를 초월할 수 있음을 확인한다.
• CIFAR-10에서 총 500개 이하의 모델을 탐색한 후 >95% 정확도를 달성하여, 랜덤 탐색이나 표준 NAS 방법에 비해 높은 샘플 효율성을 보였다.
• 공동 제약 조건(예: 작은 크기와 높은 계산 강도)은 2D 컨볼루션과 큰 채널 수를 가진 아키텍처를 유도하며, 하드웨어 효율성 목표와 일치한다.
• 제약 위반을 허용하지 않는 수정된 보상 함수를 사용함으로써 타당하고 구현 가능한 아키텍처의 효과적인 탐색이 가능했으며, 반면 랜덤 탐색은 400회 이내에 이중 제약 조건을 충족하지 못했다.