[논문 리뷰] SGAS: Sequential Greedy Architecture Search

Guohao Li, Guocheng Qian외 4명|arXiv (Cornell University)|2019. 11. 30.

Machine Learning in Materials Science참고 문헌 67인용 수 12

한 줄 요약

SGAS는 순차적 탐욕적 아키텍처 탐색 방법을 제안하며, 히우리스틱 기준—엣지 중요도, 선택 신뢰도, 안정성—을 사용하여 탐욕적이고 이중 최적화 과정에서 아키텍처 탐색을 이끌어 일반화 성능을 향상시킨다. 이는 단일 GPU에서 4분 이내로 검색 시간을 단축하면서도 CIFAR-10, ImageNet, ModelNet40, PPI에서 최신 기술 수준(SOTA) 성능을 달성하며, 수동 설계 모델과 무작위 탐색을 모두 능가한다.

ABSTRACT

Architecture design has become a crucial component of successful deep learning. Recent progress in automatic neural architecture search (NAS) shows a lot of promise. However, discovered architectures often fail to generalize in the final evaluation. Architectures with a higher validation accuracy during the search phase may perform worse in the evaluation. Aiming to alleviate this common issue, we introduce sequential greedy architecture search (SGAS), an efficient method for neural architecture search. By dividing the search procedure into sub-problems, SGAS chooses and prunes candidate operations in a greedy fashion. We apply SGAS to search architectures for Convolutional Neural Networks (CNN) and Graph Convolutional Networks (GCN). Extensive experiments show that SGAS is able to find state-of-the-art architectures for tasks such as image classification, point cloud classification and node classification in protein-protein interaction graphs with minimal computational cost. Please visit https://www.deepgcns.org/auto/sgas for more information about SGAS.

연구 동기 및 목표

• 탐색 과정에서 높은 검증 정확도를 보였지만 최종 평가에서 일반화 성능이 떨어지는 신경망 아키텍처 탐색(NAS)에서 흔히 발생하는 문제를 해결하기 위해.
• 다양한 작업에서 성능을 유지하거나 향상시키면서 아키텍처 탐색의 계산 비용을 줄이기 위해.
• 탐색 단계의 검증 정확도와 최종 평가 정확도 간의 상관관계를 높여, 탐색-평가 정확도 격차를 최소화하기 위해.
• 다양한 데이터셋과 작업에서 컨volutional 신경망(CNNs)과 그래프 컨volutional 네트워크(GCNs) 모두에 효율적인 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• SGAS는 아키텍처 탐색 문제를 순차적인 부분 문제로 분해하여, 히우리스틱 기준에 기반해 반복적으로 연산을 선택하고 제거함으로써 탐욕적으로 해결한다.
• 이 방법은 세 가지 핵심 기준을 사용한다: 엣지 중요도(각 연산이 성능에 기여하는 정도), 선택 신뢰도(선택에 대한 확신), 선택 안정성(탐색 런 간 일관성).
• 이 기준들은 이중 최적화 프레임워크 내에서 탐색 과정을 이끌며, 검증 성능에 기반해 아키텍처를 최적화하면서도 계산 효율성을 유지한다.
• 탐색은 셀 기반 탐색 공간에서 수행되며, 발견된 셀들이 조합되어 최종 아키텍처가 형성되어 평가된다.
• 이 접근법은 고비용 강화학습이나 미분 가능한 탐색을 피하고, 최소한의 하이퍼파rameter 튜닝으로도 효율적인 탐욕적 선택에 의존한다.
• SGAS는 CIFAR-10, ImageNet에서의 CNN과 ModelNet40, PPI에서의 GCN에 모두 적용되었으며, 다양한 작업에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 탐욕적 아키텍처 탐색 방법이 탐색 중 검증 정확도와 최종 평가 정확도 간 격차를 줄일 수 있는가?
• RQ2 히우리스틱 기반의 비미분 탐색 방법이 기존 NAS 방법보다 훨씬 낮은 계산 비용으로 최신 기술 수준 성능을 달성할 수 있는가?
• RQ3 엣지 중요도, 선택 신뢰도, 선택 안정성의 사용이 검색된 아키텍처의 신뢰성과 일반화 능력을 향상시키는가?
• RQ4 SGAS는 다양한 벤치마크에서 CNN 및 GCN 환경 모두에서 고성능 아키텍처를 효과적으로 탐색할 수 있는가?

주요 결과

• SGAS는 CIFAR-10과 ImageNet에서 0.003 GPU 일의 탐색 비용으로 최신 기술 수준 정확도를 달성한 아키텍처를 발견했으며, 이는 이전 방법보다 크게 낮은 비용이다.
• 3D 포인트 클러스터 분류를 위한 ModelNet40에서, 최고의 SGAS 아키텍처(Cri.2 best)는 94.8%의 정확도를 기록하여 모든 수동 설계 모델과 무작위 탐색 기반 모델을 능가했다.
• 노드 분류를 위한 PPI 데이터셋에서 SGAS(Cri.2 best)는 99.46%의 마이크로-F1 스코어를 기록하여 최신 기술 수준인 DenseMRGCN-14보다 0.03% 높았으며, 파라미터 수를 30.24M 줄였다.
• PPI에서 SGAS의 평균 성능(Cri.2 avg.)은 99.40% ± 0.09로, 기준 무작위 탐색과 SGAS(Cri.1 avg.)를 모두 능가하여, 기준 2로 인한 안정성 향상을 입증했다.
• PPI에서 소형 SGAS 모델는 오직 0.40M 파라미터로도 98.89%의 마이크로-F1 스코어를 달성하여 효율성과 확장성의 우수함을 입증했다.
• SGAS는 탐색 단계의 검증 정확도와 최종 평가 정확도 간 강한 상관관계를 보였으며, DARTS와 같은 방법에서 흔히 관찰되는 '탐색-평가 갭'을 줄였다.