[논문 리뷰] Synthetic Petri Dish: A Novel Surrogate Model for Rapid Architecture Search

Aditya Rawal, Joel Lehman외 3명|arXiv (Cornell University)|2020. 05. 27.

Service-Oriented Architecture and Web Services참고 문헌 22인용 수 4

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 새로운 서rogate 모델인 Synthetic Petri Dish를 소개한다. 이 모델은 합성 데이터로 훈련된 미니어처 네트워크에서 아키텍처 모티프를 테스트함으로써 평가를 가속화한다. 실모델의 학습 역학을 통제되고 계산적으로 효율적인 환경에서 유지함으로써, 특히 지표 데이터가 제한된 경우 기존의 블랙박스 서rogate 모델보다 더 높은 예측 정확도를 달성하며, 최신 기술 대비 1/10의 계산 자원으로도 고성능 아키텍처를 탐색할 수 있도록 한다.

ABSTRACT

Neural Architecture Search (NAS) explores a large space of architectural motifs -- a compute-intensive process that often involves ground-truth evaluation of each motif by instantiating it within a large network, and training and evaluating the network with thousands of domain-specific data samples. Inspired by how biological motifs such as cells are sometimes extracted from their natural environment and studied in an artificial Petri dish setting, this paper proposes the Synthetic Petri Dish model for evaluating architectural motifs. In the Synthetic Petri Dish, architectural motifs are instantiated in very small networks and evaluated using very few learned synthetic data samples (to effectively approximate performance in the full problem). The relative performance of motifs in the Synthetic Petri Dish can substitute for their ground-truth performance, thus accelerating the most expensive step of NAS. Unlike other neural network-based prediction models that parse the structure of the motif to estimate its performance, the Synthetic Petri Dish predicts motif performance by training the actual motif in an artificial setting, thus deriving predictions from its true intrinsic properties. Experiments in this paper demonstrate that the Synthetic Petri Dish can therefore predict the performance of new motifs with significantly higher accuracy, especially when insufficient ground truth data is available. Our hope is that this work can inspire a new research direction in studying the performance of extracted components of models in an alternative controlled setting.

연구 동기 및 목표

• NAS에서 전체 훈련을 통해 신경망 아키텍처 모티프를 평가하는 데 드는 높은 계산 비용을 해결하기 위해.
• 실모델의 내재된 학습 역학을 단순화된 평가 환경에 통합함으로써 서rogate 모델의 정확도를 향상시키기 위해.
• 최소한의 지표 데이터 평가를 통해 새로운 모티프의 성능을 신속하고 신뢰성 있게 예측할 수 있도록 하기 위해.
• 낮은 데이터 환경에서 블랙박스 예측 모델보다 합성 진단 환경이 더 잘 일반화할 수 있는지 탐색하기 위해.

제안 방법

• 전체 스케일의 훈련된 네트워크에서 아키텍처 모티프를 추출하고, 이를 소형·단순화된 네트워크(모티프-네트워크)에 구현한다.
• 합성 데이터는 상대적 성능 순서가 실제 성능 순서와 일치하도록 학습된 분포를 통해 생성되며, 이는 모티프의 성능 순서를 유지한다.
• Synthetic Petri Dish는 각 모티프를 소수의 합성 샘플로 훈련하고, 이 미니어처 환경에서의 성능을 측정함으로써 평가한다.
• 서rogate 모델은 오직 소량의 지표 데이터 평가(예: 15점)만을 사용하여 훈련되며, 이는 NAS 과정의 효율적 웜스타트를 가능하게 한다.
• NAS 알고리즘(GA 및 NAO)은 Synthetic Petri Dish와 융합되며, 이후 전체 훈련을 위해 서rogate에서 상위 성능을 보인 모티프들만 사용한다.
• 이 방법은 실모델의 내재된 학습 역학을 활용하여 추상적인 아키텍처 분석에 의존하지 않고 실제 훈련 과정의 사전 지식을 예측 과정에 통합한다.

실험 결과

연구 질문

• RQ1 미니어처화되고 합성된 평가 환경이 블랙박스 서rogate 모델보다 신경망 아키텍처 모티프의 성능 순서를 더 잘 유지할 수 있는가?
• RQ2 실모델의 학습 역학을 서rogate 모델에 통합함으로써 일반화 성능이 향상되며, 특히 지표 데이터가 부족한 경우에 더욱 그렇다면?
• RQ3 Synthetic Petri Dish는 NAS에서 고비용 지표 데이터 평가의 수를 크게 줄일 수 있으며, 이로 인해 최종 성능은 유지 또는 향상시킬 수 있는가?
• RQ4 동일한 계산 자원 제약 조건 하에서 Synthetic Petri Dish의 성능는 NAO와 같은 최신 기술 기반 NAS 방법과 비교해 어떻게 되는가?

주요 결과

• 가장 우수한 순환 셀을 찾은 결과, Synthetic Petri Dish는 테스트 퍼플렉서티 57.1을 기록했으며, 동일한 지표 데이터 평가 수를 가진 원래의 NAO 방법(56.0)보다 뛰어난 성능을 보였다.
• 더 많은 지표 데이터 평가를 허용할 경우, Synthetic Petri Dish-NAO 변종은 원래 NAO의 성능을 1/10의 계산 자원으로도 달성하여 뚜렷한 효율성 향상을 보였다.
• 시그모이드 기울기 실험에서 Synthetic Petri Dish는 왼쪽에서 급격한 감소를 보이는 성능 피크 존재를 정확히 추론했으나, 신경망 서rogate는 훈련 데이터를 초월해 일반화하지 못했다.
• 실모델의 학습 역학과 사전 지식을 통합함으로써 예측 정확도가 향상되었으며, 이는 블랙박스 모델보다 더 정확한 예측을 가능하게 했다.
• GA 및 NAO와의 하이브리드 NAS를 통해 기존 기준 방법과 각각의 변종보다 뛰어난 성능을 달성했으며, 서rogate 모델과 최적화 알고리즘이 강력한 상호보완성을 보였다.
• 저자원 데이터 환경에서 Synthetic Petri Dish는 블랙박스 모델이 유도적 편향(Inductive bias)이 부족해 실패하는 경우에도 뛰어난 일반화 성능을 보였다.