[논문 리뷰] A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS

Xuefei Ning, Yin Zheng외 3명|arXiv (Cornell University)|2020. 04. 04.

Advanced Graph Neural Networks참고 문헌 32인용 수 26

한 줄 요약

이 논문은 신경망 아키텍처 내의 실제 데이터 흐름을 모방하는 정보 전파를 통한 연산의 변환으로서의 모델링을 통해, 그래프 기반 신경망 아키텍처 인코딩 체계인 GATES를 제안한다. 진정한 계산 행동을 포착하고, 동형 아키텍처를 자연스럽게 처리함으로써 예측기 일반화 능력을 향상시켜, 예측기 기반 신경망 아키텍처 탐색(NAS)에서 랜덤 서치 대비 551배 높은 샘플 효율성과 유전적 알고리즘 서치 대비 59배 향상된 성능을 달성한다.

ABSTRACT

This work proposes a novel Graph-based neural ArchiTecture Encoding Scheme, a.k.a. GATES, to improve the predictor-based neural architecture search. Specifically, different from existing graph-based schemes, GATES models the operations as the transformation of the propagating information, which mimics the actual data processing of neural architecture. GATES is a more reasonable modeling of the neural architectures, and can encode architectures from both the "operation on node" and "operation on edge" cell search spaces consistently. Experimental results on various search spaces confirm GATES's effectiveness in improving the performance predictor. Furthermore, equipped with the improved performance predictor, the sample efficiency of the predictor-based neural architecture search (NAS) flow is boosted. Codes are available at https://github.com/walkerning/aw_nas.

연구 동기 및 목표

• 기존의 신경망 아키텍처 인코딩 체계가 신경망 아키텍처를 정확하게 표현하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 예측기 기반 신경망 아키텍처 탐색(NAS)에서 성능 예측기의 일반화 능력을 향상시키기 위해.
• ‘노드에 대한 연산’(OON) 및 ‘에지에 대한 연산’(OOE) 탐색 공간 모두에서 아키텍처를 일관되고 효과적으로 인코딩할 수 있도록 하기 위해.
• 더 잘 표현되고 의미가 명확한 아키텍처 인코더를 활용하여 NAS에서 샘플 효율성을 향상시키기 위해.
• 동형 아키텍처를 동일한 표현으로 자연스럽게 매핑하는 통합된, 계산을 모방하는 인코딩 체계를 제공하기 위해.

제안 방법

• GATES는 입력 특징이 에지를 따라 전파되는 방향성 비순환 그래프(DAG)로 신경망 아키텍처를 모델링하며, 연산은 이러한 특징의 변환으로 간주된다.
• 각 연산(예: Conv3x3, MaxPool)은 노드 속성으로서가 아니라, 들어오는 특징 텐서에 적용되는 학습 가능한 변환으로 모델링된다.
• 최종 출력 표현은 출력 노드에서 집계된 특징들로부터 유도되며, 이는 전체 셀 아키텍처에 대한 일관된 임bedding을 형성한다.
• 인코딩 과정은 본질적으로 동형성을 유지하므로, 구조적으로 동일한 아키텍처는 동일한 표현을 받는다.
• 성능 예측기는 GATES로 인코딩된 아키텍처를 사용하여 훈련되며, 정확한 상대적 성능 순위를 최적화하기 위해 힌지 랭킹 손실이 사용된다.
• 내부 탐색 전략으로서 랜덤 서치와 유전적 알고리즘을 사용하여 OON 및 OOE 탐색 공간 모두에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 정보 전환으로서의 연산을 모델링하는 그래프 기반 인코딩 체계가 NAS에서 성능 예측기의 일반화 능력을 향상시킬 수 있는가?
• RQ2 GATES는 순서 기반 및 전통적인 그래프 기반 인코더와 비교해 성능 예측기 성능과 샘플 효율성 측면에서 어떻게 다른가?
• RQ3 GATES는 동형 아키텍처를 항상 동일한 표현으로 인코딩하는가? 이는 강건성과 일반화 능력을 향상시키는가?
• RQ4 GATES를 예측기 기반 NAS에 적용할 경우, 기준 탐색 전략 대비 샘플 효율성이 얼마나 향상되는가?
• RQ5 GATES는 ENAS 탐색 공간과 같은 큰 또는 복잡한 탐색 공간에서도 평가된 아키텍처 수를 줄이며 효과적인 NAS를 가능하게 하는가?

주요 결과

• GATES 기반 예측기 기반 NAS는 최고의 아키텍처를 찾기까지 평균 400개의 아키텍처만 평가한 데 반해, 유전적 알고리즘 서치는 237,000개, 랜덤 서치는 220,400개를 평가하였다.
• 동일한 평가 프rotocol 하에서 GATES 기반 NAS의 샘플 효율성은 랜덤 서치 대비 551.0배 높고, 유전적 알고리즘 서치 대비 59.25배 높았다.
• CIFAR-10 데이터셋에서 GATES를 사용한 NAS로 발견된 아키텍처는 테스트 오차 2.58%를 기록했으며, 이는 훨씬 적은 평가 아키텍처 수(800개 대비 1,000~27,000개)로도 다른 방법을 능가하는 성능을 보였다.
• ImageNet으로의 이식 시, GATES로 발견된 아키텍처는 오직 560만 파라미터로 top-1 오차 24.1%를 기록하여 강력한 일반화 능력과 경쟁력을 입증했다.
• 제거 분석 결과, 샘플 비율 $ r $ 는 정교하게 조정되어야 하며, 너무 작거나 너무 큰 값은 열악한 탐색 또는 이용으로 인해 성능 저하를 초래한다.
• GATES는 OON 및 OOE 탐색 공간 양쪽에서 일관된 향상 효과를 보여, 일반화 가능성과 강건성을 확인했다.