[논문 리뷰] Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks

Xin Chen, Lingxi Xie외 4명|arXiv (Cornell University)|2020. 04. 17.

Advanced Neural Network Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 가중치 공유 초망구조에서 샘플링된 하위망구조가 학습 불안정성으로 인한 랜덤 노이즈로 인해 성능 추정 오차가 발생하는 문제를 보정하기 위해 그래프 컬러션 네트워크(GCN)를 사용하는 방법을 제안한다. 샘플링된 아키텍처에서 경량 GCN를 훈련시켜 더 정확한 성능 프록시를 학습함으로써, 이 방법은 랭크 상관도를 향상시켜 페어링된 성능 순위 간의 켄달-τ 값이 최대 0.76에 도달하고, 최종 정확도도 향상시킨다(이미지넷에서 상위-1 정확도 75.5–75.6%). 또한 하드웨어 제약 조건 하에서의 탄력적인 검색을 가능하게 한다.

ABSTRACT

Neural architecture search has attracted wide attentions in both academia and industry. To accelerate it, researchers proposed weight-sharing methods which first train a super-network to reuse computation among different operators, from which exponentially many sub-networks can be sampled and efficiently evaluated. These methods enjoy great advantages in terms of computational costs, but the sampled sub-networks are not guaranteed to be estimated precisely unless an individual training process is taken. This paper owes such inaccuracy to the inevitable mismatch between assembled network layers, so that there is a random error term added to each estimation. We alleviate this issue by training a graph convolutional network to fit the performance of sampled sub-networks so that the impact of random errors becomes minimal. With this strategy, we achieve a higher rank correlation coefficient in the selected set of candidates, which consequently leads to better performance of the final architecture. In addition, our approach also enjoys the flexibility of being used under different hardware constraints, since the graph convolutional network has provided an efficient lookup table of the performance of architectures in the entire search space.

연구 동기 및 목표

• 초망구조 최적화 과정에서 발생하는 랜덤 학습 노이즈로 인해 초망구조에서 샘플링된 하위망구조의 성능 추정이 부정확해지는 문제를 해결하기 위함.
• 초망구조에서 직접 샘플링하는 것보다 더 정확한 성능 프록시를 학습함으로써 NAS 내 아키텍처 순위의 신뢰성을 향상시키기 위함.
• 훈련된 GCN를 사용해 경량이고 일반화된 성능 룩업 테이블을 구축함으로써 다양한 하드웨어 제약 조건 하에서도 탄력적인 NAS를 가능하게 하기 위함.
• 하위망구조 평가 시 발생하는 랜덤 오차로 인해 최적의 아키텍처로 수렴할 위험을 줄이기 위함.

제안 방법

• 하위망구조의 진정한 성능을 초망구조에서 추정된 정확도의 선형 함수로 모델링하고, 평균이 0인 랜덤 오차 항을 추가함.
• 노드가 샘플링된 하위망구조를 나타내고, 공유 셀 또는 연산 기반으로 아키텍처 유사도를 표현하는 간선을 포함하는 그래프를 구축함.
• 건축 특징에서 보정된 성능 추정치로 회귀하기 위해 그래프 컬러션 네트워크를 훈련시키며, 예측치와 진정된 정확도 간의 L1 손실을 최소화함.
• 훈련된 GCN을 경량이며 빠른 추론 모델로 활용하여 초망구조 직접 평가를 대체하고 전체 검색 공간에서의 성능을 예측함.
• 특히 CPU 메모리 제약 조건 하에서 그래프 구축 시 계산 비용을 관리하기 위해 검색 공간을 부분공간으로 분할함.
• 다양한 하드웨어 제약 조건을 고려하기 위해 GCN 예측 룩업 테이블에서 다중가속 연산 또는 지연 시간 제약 조건에 따라 상위 랭킹 아키텍처를 필터링함.

실험 결과

연구 질문

• RQ1 그래프 컬러션 네트워크가 가중치 공유 NAS에서 하위망구조의 성능 추정 오차를 효과적으로 감소시킬 수 있는가?
• RQ2 GCN 기반 보정은 직접 초망구조 평가에 비해 하위망구조의 추정 성능과 진정된 성능 간의 순위 상관도를 얼마나 향상시키는가?
• RQ3 고정된 하드웨어 제약 조건 하에서 GCN 기반 접근법이 이미지넷과 같은 벤치마크에서 최종 아키텍처 정확도를 얼마나 향상시키는가?
• RQ4 GCN 내 샘플링된 아키텍처 수와 유사도 측정 기준 선택에 따라 이 방법은 어떻게 스케일링되는가?
• RQ5 GCN 예측 결과는 다양한 하드웨어 제약 조건 하에서 효율적인 NAS를 위한 탄력적이고 일반적인 룩업 테이블로 활용될 수 있는가?

주요 결과

• 제안된 GCN 기반 방법은 예측된 성능 순위와 진정된 성능 순위 간의 켄달-τ 상관도를 최대 0.76까지 향상시켜 직접 초망구조 샘플링에서의 기준값 0.2143보다 뚜렷이 향상됨.
• 383M 다중가속 연산에서 이미지넷 상위-1 정확도 75.5%를 달성하고, 393M 다중가속 연산에서는 75.6%를 기록하며, 유사한 제약 조건 하에서 랜덤 샘플링 및 최신 기술 대비 뛰어난 성능을 보임.
• 라운드당 2,000개의 아키텍처를 샘플링하는 것으로 5,000개를 사용할 때와 유사한 결과를 얻을 수 있었고, 추가로 9 GPU 시간의 학습만 소요되어 매우 높은 샘플 효율성을 보임.
• 각 라운드에서 6개의 후보를 유지하는 것이 1개만 유지하는 것보다 검색 안정성과 최종 정확도(75.47%)가 높아짐을 확인하여, 검색 과정에서 다양성이 유리함을 입증함.
• 훈련된 GCN를 통해 다양한 다중가속 수준의 아키텍처에 대해 빠르고 정확한 성능 룩업 테이블을 생성함으로써 하드웨어 인식 아키텍처 검색이 탄력적으로 가능해짐.
• 이 방법은 FLOPs 기반 필터링 외에도 지연 시간과 같은 다른 하드웨어 제약 조건으로도 일반화됨을 보여, 그 적응 가능성의 우수성을 입증함.