[논문 리뷰] Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets

Yong Guo, Yaofo Chen외 6명|arXiv (Cornell University)|2021. 02. 27.

Simulation Techniques and Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 특정 계산 예산에 대해 페어레토 최적의 신경망 아키텍처를 생성할 수 있는 단일 생성 모델을 학습하는 페어레토 프론트엔드 인식 신경망 아키텍처 생성기(NAG)를 제안한다. 다양한 예산을 동시에 최적화하고 페어레토 지배 보상(reward)을 사용함으로써, 모바일, CPU, GPU 플랫폼 전반에서 정확도-지연(latency) 트레이드오프 성능이 뛰어나며, 기존 NAS에 비해 5초 이내의 인퍼런스 기반 생성 시간을 확보한다.

ABSTRACT

Designing feasible and effective architectures under diverse computation budgets incurred by different applications/devices is essential for deploying deep models in practice. Existing methods often perform an independent architecture search for each target budget, which is very inefficient yet unnecessary. Moreover, the repeated independent search manner would inevitably ignore the common knowledge among different search processes and hamper the search performance. To address these issues, we seek to train a general architecture generator that automatically produces effective architectures for an arbitrary budget merely via model inference. To this end, we propose a Pareto-Frontier-aware Neural Architecture Generator (NAG) which takes an arbitrary budget as input and produces the Pareto optimal architecture for the target budget. We train NAG by learning the Pareto frontier (i.e., the set of Pareto optimal architectures) over model performance and computational cost (e.g., latency). Extensive experiments on three platforms (i.e., mobile, CPU, and GPU) show the superiority of the proposed method over existing NAS methods.

연구 동기 및 목표

• 실제 응용에서 다양한 계산 제약 조건을 가진 환경에서 각 예산에 대해 별도로 수행되는 비효율적인 신경망 아키텍처 탐색(NAS) 문제를 해결하기 위해.
• 다양한 예산에서 페어레토 최적 모델을 생성할 수 있는 통합 아키텍처 생성기를 학습하여, 탐색 과정 간의 공유 지식을 활용하기 위해.
• 개별 예산에 대해 독립적으로 최적화하는 대신, 정확도와 계산 비용(예: 지연)의 페어레토 프론트엔드를 기반으로 생성기 훈련을 통해 탐색 효율성과 성능을 향상시키기 위해.
• 반복적인 비용이 많이 드는 탐색 과정을 피하기 위해, 인퍼런스 기반의 빠른 즉각적 아키텍처 생성을 가능하게 하기 위해.

제안 방법

• NAG 프레임워크는 타겟 예산을 입력으로 받아 해당 예산에 대응하는 신경망 아키텍처를 출력하는 아키텍처 생성기(LSTM 기반)로 구성된다.
• 생성기는 균일하게 샘플링된 이산적 예산 집합에 대해 기대 보상(expected reward)을 최대화함으로써 훈련되며, 이는 성능과 비용의 페어레토 프론트엔드를 근사한다.
• 정확도와 지연을 기반으로 아키텍처 간 비교가 가능한 페어레토 지배 규칙을 학습하는 아키텍처 평가기(evaluator)가 도입된다.
• 정확도와 지연 양쪽에서 지배되지 않는 아키텍처를 향해 생성기를 이끄는 데 페어레토 지배 보상이 사용된다.
• 임베딩 보간법(embedding interpolation)을 통해 생성기는 훈련 중에 볼 수 없었던 임의의 예산에도 일반화할 수 있다.
• 여러 예산을 동시에 최적화함으로써, 전체 프론트엔드에 걸쳐 공유 지식이 향상된 탐색 성능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 임의의 계산 예산에 대해 페어레토 최적 아키텍처를 생성할 수 있는 단일 신경망 아키텍처 생성기를 훈련시킬 수 있는가?
• RQ2 여러 예산에 대해 동시 최적화하는 것이 각 예산에 대해 별도로 탐색하는 것에 비해 탐색 성능을 어떻게 향상시키는가?
• RQ3 페어레토 프론트엔드를 학습하는 것이 다양한 지연 제약 조건 하에서 생성된 아키텍처의 다양성과 품질을 어느 정도 향상시키는가?
• RQ4 제안된 방법은 기존 NAS 방법에 비해 상당히 감소된 생성 비용으로 고성능 아키텍처를 달성할 수 있는가?

주요 결과

• NAG는 ImageNet에서 모든 테스트 예산에서 최신 기술 수준의 정확도를 달성했으며, 모바일 기기에서 200ms 지연 시 80.5%의 top-1 정확도를 기록해 반복적 독립 탐색 및 다목적 NAS 기준 모델을 모두 압도했다.
• 인퍼런스 기반 생성을 통해 아키텍처 생성 시간을 5초 이내로 단축시켰으며, 기존 방법 대비 2시간(PC-DARTS), 12시간(ENAS), 4일(DARTS)의 시간을 절감했다.
• 훈련 시 K=10개의 샘플 예산을 사용한 NAG는 140ms 지연에서 79.8%의 top-1 정확도를 달성했으며, K=2(79.1%)와 K=30(79.7%)에 비해 최적의 프론트엔드 근사 균형을 확보했다.
• 도표 5에 나타나 있듯이, NAG가 학습하는 동안 예산 간 공유 지식을 활용함으로써 OFA-MO의 프론트엔드를 모두 지배한다.
• 절단 실험(Ablation studies) 결과, 페어레토 프론트엔드 학습 전략과 페어레토 지배 보상이 높은 성능을 내기 위해 필수적임을 확인했으며, 이들을 제거할 경우 정확도 또는 지연 측면에서 성능이 떨어졌다.
• 아키텍처 평가기는 정확도와 비용 트레이드오프에서 뛰어난 아키텍처를 정확하게 비교하고 선택할 수 있는 신뢰할 수 있는 페어레토 지배 규칙을 성공적으로 학습했다.