[논문 리뷰] NASGEM: Neural Architecture Search via Graph Embedding Method

Hsin-Pai Cheng, Tunhou Zhang외 8명|arXiv (Cornell University)|2020. 07. 08.

Advanced Neural Network Applications참고 문헌 49인용 수 10

한 줄 요약

NASGEM은 신경망 아키텍처 검색을 위한 새로운 추정기 기반 방법을 제안하며, 그래프 임bedding과 Weisfeiler-Lehman 커널을 통합하여 잠재 공간 내에서 위상적 유사성을 유지함으로써 더 정확한 성능 예측과 효율적인 검색을 가능하게 한다. NASGEM이 발견한 GEMNet 아키텍처는 이미지 분류 및 객체 검출 작업에서 기존 방법보다 0.4%-3.6% 높은 정확도를 기록하며 Multiply-Accumulate 연산 수를 11%-21% 줄였다.

ABSTRACT

Neural Architecture Search (NAS) automates and prospers the design of neural networks. Estimator-based NAS has been proposed recently to model the relationship between architectures and their performance to enable scalable and flexible search. However, existing estimator-based methods encode the architecture into a latent space without considering graph similarity. Ignoring graph similarity in node-based search space may induce a large inconsistency between similar graphs and their distance in the continuous encoding space, leading to inaccurate encoding representation and/or reduced representation capacity that can yield sub-optimal search results. To preserve graph correlation information in encoding, we propose NASGEM which stands for Neural Architecture Search via Graph Embedding Method. NASGEM is driven by a novel graph embedding method equipped with similarity measures to capture the graph topology information. By precisely estimating the graph distance and using an auxiliary Weisfeiler-Lehman kernel to guide the encoding, NASGEM can utilize additional structural information to get more accurate graph representation to improve the search efficiency. GEMNet, a set of networks discovered by NASGEM, consistently outperforms networks crafted by existing search methods in classification tasks, i.e., with 0.4%-3.6% higher accuracy while having 11%- 21% fewer Multiply-Accumulates. We further transfer GEMNet for COCO object detection. In both one-stage and twostage detectors, our GEMNet surpasses its manually-crafted and automatically-searched counterparts.

연구 동기 및 목표

• 기존 추정기 기반 NAS 방법이 아키텍처 인코딩 과정에서 그래프 위상을 유지하지 못해 잠재 공간 표현이 정확하지 못한 한계를 해결한다.
• Weisfeiler-Lehman 커널에 의해 유도되는 그래프 임베딩 방법을 통해 구조적 유사성 정보를 잠재 공간에 통합함으로써 검색 효율성과 정확도를 향상시킨다.
• 위상적 인덕티브 바이어스를 활용하여 훈련 데이터가 제한된 상황에서도 높은 성능을 유지할 수 있는 강건하고 일반화 능력이 뛰어난 아키텍처 검색 프레임워크를 개발한다.
• 그래프 임베딩과 효율성 점수 예측기, 부트스트랩 최적화를 조합하여 잠재 공간 내에서 타당하고 구조적으로 의미 있는 탐색이 가능하도록 유연하고 확장 가능한 검색을 가능하게 한다.

제안 방법

• We이스페일러-레만(WL) 커널을 사용해 그래프 유사성을 측정하고 신경망 아키텍처 그래프를 연속적인 잠재 공간으로 인코딩하는 커널 유도 그래프 오토에인드를 제안한다.
• 기존 그래프의 WL 커널과 임베딩된 벡터 간余kosine 유사성 간의 차이를 최소화함으로써 위상적 구조를 유지하는 그래프 임베딩 모델을 구축한다.
• 그래프 유사성에 기반한 대비 손실을 사용해 그래프 인코더를 훈련함으로써 구조적으로 유사한 아키텍처가 잠재 공간 내에서 가까이 위치하도록 보장한다.
• 사전 학습된 그래프 임베딩을 지도형 효율성 점수 예측기와 통합하여 아키텍처 임베딩에서 정확도를 추정한다.
• 후보 아키텍처가 잠재 공간 내에서 타당하고 구조적으로 의미 있는지 보장하기 위해 부트스트랩 최적화를 적용하여 검색 과정을 개선한다.
• 결과로 도출된 임베딩과 예측기를 사용해 넓고 제한 없는 검색 공간에서 고도로 효율적이고 정확한 최적의 신경망 아키텍처 셀을 탐색한다.

실험 결과

연구 질문

• RQ1 Weisfeiler-Lehman 커널을 통해 그래프 위상 정보를 통합하면 추정기 기반 NAS에서 잠재 공간의 표현 능력이 향상되는가?
• RQ2 위상적 유사성 제약 조건을 갖춘 그래프 임베딩은 신경망 아키텍처 검색에서 성능 예측의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 기존 NAS 접근 방식과 비교해 본다면, 제안된 방법은 검색 비용을 얼마나 줄일 수 있으며, 모델 정확도는 유지 또는 향상시키는가?
• RQ4 학습된 그래프 임베딩은 다양한 데이터 분할과 소규모 훈련 세트에서도 효과적으로 일반화되는가? 이는 저자료 환경에서의 강건성 향상에 기여하는가?
• RQ5 NASBench-101 및 COCO 객체 검출과 같은 표준 벤치마크에서 NASGEM의 아키텍처 검색 성능은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• NASGEM의 그래프 커널 임베딩을 사용할 경우 NASBench-101에서 글로벌 정확도가 0.2% 향상되어 제한된 데이터에서 더 나은 일반화 능력을 입증했다.
• NASGEM의 그래프 임베딩을 사용해 훈련한 효율성 점수 예측기는 훈련 데이터의 50%만 사용해도 실제 정확도와 피어슨 상관계수 0.85를 기록하며 기준 방법을 능가했다.
• NASGEM이 발견한 아키텍처 GEMNet은 CIFAR-10 및 ImageNet에서 기존 최고 수준의 모델보다 0.4%-3.6% 높은 정확도를 기록했으며, 파라미터 수를 13%-62% 줄이고 Multiply-Accumulates를 11%-21% 감소시켰다.
• COCO 객체 검출에서 GEMNet은 일괄형 및 이중형 검출기 모두에서 수동 설계 및 자동 검색된 모델을 능가했으며, 강력한 전이 가능성(transferability)을 보였다.
• 절단 분석 결과, NASGEM의 임베딩 방법은 모든 데이터 비율에서 인접행렬 평탄화 및 MLP 기반 오토에인드와 비교해 일관되게 뛰어나며, Kendall’s tau는 0.03–0.09 증가하고 피어슨 상관계수는 0.15–0.20 증가했다.
• 해당 방법은 다양한 임베딩 차원과 그래프 크기에 대해 강건하며, 다양한 설정에서 안정적인 수렴과 낮은 유사도 손실을 기록해 강력한 확장성과 일반화 능력을 보였다.