[논문 리뷰] Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization

David Eriksson, Pierce Chuang외 8명|arXiv (Cornell University)|2021. 06. 22.

Machine Learning and Data Classification참고 문헌 24인용 수 5

한 줄 요약

이 논문은 높은 차원의 검색을 효율적으로 수행하기 위해 희소 축에 수직인 부분공간(SAAS) 사전분포와 노이즈가 있는 기대 초체적량 개선(qNEHVI)을 사용한 다목적 베이지안 최적화를 활용한 지연 시간 인지 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 기존 학습 워크플로우에 코드 변경 없이도 생산 규모의 온디바이스 자연어 이해(NLU) 모델에서 p99 지연 시간을 25% 이상 감소시키면서 모델 정확도를 향상시키며, 무작위 및 소볼 탐색보다 뛰어난 성능을 발휘한다.

ABSTRACT

When tuning the architecture and hyperparameters of large machine learning models for on-device deployment, it is desirable to understand the optimal trade-offs between on-device latency and model accuracy. In this work, we leverage recent methodological advances in Bayesian optimization over high-dimensional search spaces and multi-objective Bayesian optimization to efficiently explore these trade-offs for a production-scale on-device natural language understanding model at Facebook.

연구 동기 및 목표

• 모바일 배포를 위한 신경망 아키텍처 탐색에서 모델 정확도와 온디바이스 지연 시간 간의 상호보완적 관계를 효율적으로 탐색하는 문제를 해결하기 위해.
• 기존 학습 파ip라인에 대한 코드 변경 없이도 통합이 가능한 NAS 방법을 개발하여 대규모 생산 환경의 학습 인프라와의 연동을 가능하게 하기 위해.
• 베이지안 최적화를 사용하여 정확도와 지연 시간이라는 상충되는 다수의 목표를 고차원적이고 샘플 효율적으로 최적화하기 위해.
• 페이스북에서 실제 운영 중인 대규모 온디바이스 자연어 이해(NLU) 모델에 대해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 고차원 검색 공간(24개 파라미터)을 더 잘 일반화하고 희소성을 확보하기 위해 SAAS 사전분포를 사용한 완전 베이지안 추론 프레임워크를 활용한 다목적 베이지안 최적화(BO)를 적용한다.
• GP 하이퍼파rameter에 대한 몬테카를로 통합을 통해 병렬, 노이즈가 있는, 그리고 안정적인 최적화를 가능하게 하는 qNEHVI 획득 함수를 활용한다.
• 32개의 초기 설계 포인트로 스캐러블 소볼 시퀀스를 사용하고, 240개의 평가 예산 내에서 16개의 구성 설정을 비동기적으로 병렬 평가하여 샘플 효율성을 극대화한다.
• SAAS-GP 모델의 사후 추론을 위해 No-U-Turn Sampler(NUTS)를 적용하여 자동 관련성 결정과 고차원 설정에서의 안정성을 확보한다.
• 깊이 분할 컨볼루션 커널 크기, 임bedding 및 FFN 차원, 어텐션 헤드 수를 포함한 24차원 검색 공간으로 모델 아키텍처와 하이퍼파라미터를 인코딩한다.
• 기준 모델(정확도 및 p99 지연 시간)에 상대적인 목표를 정의하고, 검색 공간을 유의미하게 바인딩하고 초체적량 개선을 가능하게 하기 위해 기준점은 (1,1)로 설정한다.

실험 결과

연구 질문

• RQ1 SAAS 사전분포를 사용한 다목적 베이지안 최적화는 실제 온디바이스 NLU 모델의 고차원 검색 공간을 효과적으로 탐색할 수 있는가?
• RQ2 제안된 방법은 정확도와 지연 시간 간의 상호보완적 관계 개선 측면에서 랜덤 및 소볼 기반 탐색과 비교해 어떻게 성능을 냈는가?
• RQ3 NUTS와 SAAS 사전분포를 통한 완전 베이지안 추론이 고차원 BO에서 모델 적합도와 최적화 안정성에 얼마나 기여하는가?
• RQ4 하이퍼파라미터에 대한 몬테카를로 통합을 통한 qNEHVI 획득 함수는 노이즈가 있는 관측치 하에 효율적이고 병렬적이며 안정적인 최적화를 가능하게 하는가?

주요 결과

• 제안된 BO 방법은 온디바이스 p99 지연 시간을 25% 이상 감소시키면서 동시에 모델 정확도를 향상시켜 효과적인 상호보완적 관계 탐색을 입증하였다.
• 소볼 탐색은 기준점보다 향상된 두 개의 구성 설정만을 발견한 반면, BO 방법은 정확도-지연 시간 프론티어 전역에서 다수의 파레토 최적 아키텍처를 성공적으로 식별하였다.
• SAAS 사전분포는 이탈리아 교차검증에서 표준 MAP 추정 GP 모델보다 뛰어난 적합도와 고차원 설정에서의 안정성을 보이며 뚜렷한 승리를 거두었다.
• qNEHVI와 완전 베이지안 추론의 통합은 노이즈가 있는 지연 측정치 하에서도 안정적이고 병렬적이며 샘플 효율적인 최적화를 가능하게 하였다.
• 기존 학습 파이프라인에 대한 코드 변경이 전혀 필요로 하지 않아, 페이스북의 대규모 생산 환경 학습 인프라와 원활하게 통합될 수 있었다.