[논문 리뷰] KNAS: Green Neural Architecture Search

Jingjing Xu, Liang Zhao외 4명|arXiv (Cornell University)|2021. 11. 26.

Machine Learning in Materials Science인용 수 4

한 줄 요약

KNAS는 학습을 거치지 않고 신경망 아키텍처를 평가하기 위해 기울기 커널 가설을 활용하는 녹색 신경망 아키텍처 탐색 방법을 제안한다. 특히, 기울기의 그람 행렬의 평균(MGM)을 최종 성능의 대체 지표로 사용한다. 이 방법은 학습 시간을 수 개의 주머니보다도 줄여가며 경쟁적인 정확도를 달성하며, 텍스트 분류 작업에서 RoBERTA-large를 능가한다. 이로 인해 계산 비용과 환경 영향도 크게 감소한다.

ABSTRACT

Many existing neural architecture search (NAS) solutions rely on downstream training for architecture evaluation, which takes enormous computations. Considering that these computations bring a large carbon footprint, this paper aims to explore a green (namely environmental-friendly) NAS solution that evaluates architectures without training. Intuitively, gradients, induced by the architecture itself, directly decide the convergence and generalization results. It motivates us to propose the gradient kernel hypothesis: Gradients can be used as a coarse-grained proxy of downstream training to evaluate random-initialized networks. To support the hypothesis, we conduct a theoretical analysis and find a practical gradient kernel that has good correlations with training loss and validation performance. According to this hypothesis, we propose a new kernel based architecture search approach KNAS. Experiments show that KNAS achieves competitive results with orders of magnitude faster than "train-then-test" paradigms on image classification tasks. Furthermore, the extremely low search cost enables its wide applications. The searched network also outperforms strong baseline RoBERTA-large on two text classification tasks. Codes are available at \url{https://github.com/Jingjing-NLP/KNAS} .

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법이 아키텍처 평가를 위해 전체 학습을 필요로 하는 높은 계산 비용과 환경 영향을 해결하기 위해.
• 무작위로 초기화된 네트워크의 기울기가 최종 학습 성능을 신뢰할 만한 대체 지표로 사용될 수 있는지 조사하기 위해.
• 학습 과정을 제거하면서도 경쟁적인 모델 정확도를 유지하는 녹색 NAS 솔루션을 개발하기 위해.
• 제안된 방법이 다양한 작업, 특히 이미지 및 텍스트 분류 작업에 걸쳐 일반화 능력을 보이는지 검증하기 위해.

제안 방법

• 기울기 커널 가설을 제안: 무작위로 초기화된 네트워크의 기울기가 최종 학습 성능에 대한 거친 대체 지표로 기능할 수 있다.
• 기울기의 그람 행렬(GM)을 핵심 특징으로 식별하며, 그 페어노르 범위가 최적화 수렴 속도를 제한함을 밝힘.
• 아키텍처 평가를 위한 실용적이고 확장 가능한 지표로 기울기 그람 행렬의 평균(MGM)을 도입.
• 학습 없이 MGM을 사용해 아키텍처를 순위 매기고, 전체 학습을 위해 상위-k 후보만 선택.
• 이 방법을 이미지 분류에 적합한 NAS-Bench-201과 RoBERTA 기반의 검색 공간을 갖춘 텍스트 분류 작업에 적용.
• 이론적 분석을 통해 더 높은 MGM은 더 빠른 수렴과 더 나은 일반화 능력과 관련이 있음을 입증.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 네트워크의 기울기가 최종 학습 성능을 안정적으로 예측할 수 있는가?
• RQ2 기울기의 그람 행렬(GM)이 학습 손실과 검증 정확도와 강한 상관관계를 보이는가?
• RQ3 MGM 기반의 학습 없이 아키텍처 평가를 수행하는 방법이 전체 학습 기반 NAS와 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 제안된 KNAS 방법이 이미지 분류 및 텍스트 분류와 같은 다양한 작업에 일반화되는가?
• RQ5 제안된 방법이 검색 효율성 향상과 탄소 배출 감소에 미치는 영향은 무엇인가?

주요 결과

• CIFAR-100에서 MGM은 음수 학습 손실과 0.53의 스피어만 상관계수(r ≪ 0.01)를 보였고, 검증 정확도와는 0.56의 상관계수를 기록했다.
• KNAS는 전체 학습 기반 NAS에 비해 수 개의 주머니 수준으로 감소된 검색 비용으로 NAS-Bench-201에서 경쟁적인 정확도를 달성했다.
• 텍스트 분류 작업에서 MRPC에서 RoBERTA-large보다 1.24% 높고, RTE에서 0.24% 높은 성능을 기록했다.
• MRPC에서 검색 시간은 단 0.4K초, RTE에서는 2K초로 매우 높은 효율성을 보였다.
• 다양한 초기화 방식, 정규화 유형, 네트워크 아키텍처(예: CNN 대 자기주의 주의 네트워크)에 걸쳐 잘 일반화됨을 확인했다.
• 이론적 분석을 통해 GM 행렬의 F-노름이 클수록 수렴 속도가 더 빠르며, 이는 기울기 커널 가설을 뒷받침함을 확인했다.