[논문 리뷰] aw_nas: A Modularized and Extensible NAS framework

Xuefei Ning, Changcheng Tang외 8명|arXiv (Cornell University)|2020. 11. 25.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 4

한 줄 요약

aw_nas는 신경망 아키텍처 탐색(NAS)을 위한 모듈형, 확장 가능하며 오픈소스인 파이썬 프레임워크로, 잘 정의된 구성 요소를 통해 다양한 NAS 알고리즘과 응용 프로그램을 지원합니다. 이 프레임워크는 정확한 지연 시간 및 에너지 예측 모델(LSTM 기반 등)을 제공함으로써 효율적인 하드웨어 인식 NAS를 가능하게 하며, 간단한 합산 대비 rMSE를 최대 9.7배 향상시켜 CPU, GPU, FPGA 플랫폼에서 비용 추정을 크게 향상시킵니다.

ABSTRACT

Neural Architecture Search (NAS) has received extensive attention due to its capability to discover neural network architectures in an automated manner. aw_nas is an open-source Python framework implementing various NAS algorithms in a modularized manner. Currently, aw_nas can be used to reproduce the results of mainstream NAS algorithms of various types. Also, due to the modularized design, one can simply experiment with different NAS algorithms for various applications with awnas (e.g., classification, detection, text modeling, fault tolerance, adversarial robustness, hardware efficiency, and etc.). Codes and documentation are available at https://github.com/walkerning/aw_nas.

연구 동기 및 목표

• 다양한 NAS 알고리즘과 응용 프로그램을 지원하는 일반적이고 확장 가능하며 사용하기 쉬운 NAS 프레임워크를 제공하기 위해.
• NAS의 높은 계산 비용 문제를 해결하기 위해 검색 공간, 컨트롤러, 평가기, 가중치 관리에 대한 효율적이고 모듈형 구성 요소 기반 설계를 가능하게 하기 위해.
• CPU, GPU, FPGA 플랫폼 전반에 걸쳐 정확한 지연 시간 및 에너지 예측 모델을 통합하여 하드웨어 인식 NAS를 지원하기 위해.
• 오픈소스 코드와 포괄적인 문서를 제공하여 재현 가능성과 실험의 용이성을 촉진하기 위해.
• 모듈형이고 조합 가능한 구성 요소 및 예측기 기반의 검색 전략을 통해 샘플 효율성과 확장성을 향상시키기 위해.

제안 방법

• 프레임워크는 검색 공간, 컨트롤러, 평가기, 가중치 관리자, 트레이너 등의 구성 요소 간에 잘 정의된 인터페이스를 가진 모듈형 구성 요소 아키텍처를 사용합니다.
• 이중 이산적이고 미분 가능한 아키텍처 모두를 지원하는 '롤아웃'(BaseRollout) 추상화를 도입하여 구성 요소 간의 통신을 표준화합니다.
• 강화 학습, 진화적 탐색, 미분 가능한 NAS, 예측기 기반 방법을 포함한 다양한 NAS 파라다임을 지원합니다.
• 초기화된 가중치를 공유하는 슈퍼넷과 미분 가능한 슈퍼넷을 구현하여 재학습 없이도 빠른 아키텍처 평가가 가능하게 합니다.
• CPU, GPU, FPGA 플랫폼에서의 지연 시간 및 에너지 측정을 위한 하드웨어 프로파일링 파이프라인을 구현하고, 이 데이터를 바탕으로 비용 예측 모델을 훈련시킵니다.
• 세 가지 유형의 비용 예측 모델을 구현합니다: 선형 회귀(1- 및 2-버전), 다층 퍼셉트론(MLP), 블록 특징을 순차적으로 처리하는 LSTM 기반 모델.

실험 결과

연구 질문

• RQ1 다양한 응용 프로그램과 NAS 알고리즘에 걸쳐 재사용 가능한 모듈형, 확장 가능하며 재사용 가능한 NAS 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 다양한 하드웨어 플랫폼에서 신경망의 지연 시간 및 에너지 추정 정확도에 영향을 미치는 다양한 비용 예측 모델의 영향은 무엇인가?
• RQ3 예측기 기반의 NAS 방법은 모듈형 프레임워크에 효과적으로 통합되어 샘플 효율성을 향상시킬 수 있는가?
• RQ4 메모리 및 병렬 처리 특성이 뚜렷한 복잡한 플랫폼에서 비용 예측 모델의 성능은 단순한 원소 비용 합산과 비교해 어떻게 되는가?
• RQ5 이 프레임워크는 자원 제약 환경에서 실세계 구현을 위한 하드웨어 인식 NAS를 어느 정도 지원할 수 있는가?

주요 결과

• LSTM 기반 비용 예측 모델은 GPU 지연 시간 추정에서 rMSE 0.174–0.187을 달성하여 단순 합산 대비 3.6배 향상된 성능(예: rMSE = 0.63)을 보였다.
• FPGA 에너지 추정에서는 예측 모델이 단순 덧셈 대비 rMSE를 4.94에서 0.51로 감소시켜 9.7배 향상된 성능을 달성했다.
• 프레임워크의 모듈형 설계 덕분에 강화 학습, 진화적, 미분 가능한, 예측기 기반 방법을 포함한 다양한 NAS 알고리즘을 원활하게 통합할 수 있었다.
• CPU, GPU, FPGA 플랫폼에서의 하드웨어 프로파일링이 자동화되었으며, 원소 블록의 측정된 지연 시간 및 에너지 데이터를 기반으로 비용 예측 모델이 훈련되었다.
• 프레임워크는 이미지 분류, 객체 검출, NLP, 결함 내성, 적대적 공격에 대한 강건성, 하드웨어 효율성 등 광범위한 응용 프로그램을 지원한다.
• Intel Xeon, RTX-2080Ti, Xilinx ZCU102 등의 하드웨어 자산과 함께 비용 예측 모델을 오픈소스로 공개함으로써 재현 가능하고 확장 가능한 하드웨어 인식 NAS를 지원한다.