[논문 리뷰] Neural Architecture Search with GBDT.

Renqian Luo, Xu Tan외 4명|arXiv (Cornell University)|2020. 07. 09.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 25

한 줄 요약

이 논문은 신경망 아키텍처 검색(NAS)에서 정확도 예측기로 기울기 부스팅 결정 트리(GBDT)를 사용함으로써, GBDT가 표본화된 아키텍처 데이터를 잘 다룰 수 있는 점을 활용하여 검색 효율성과 정확도를 향상시킨다. GBDT 기반의 검색 공간 정제와 GBDT 기반의 아키텍처 예측을 결합함으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 ImageNet에서 23.5%의 top-1 오차와 NASBench-101에서 0.18%의 테스트 회귀를 기록한다.

ABSTRACT

Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing interests due to its simplicity and effectiveness. Previous works employ neural network based predictors which unfortunately cannot well exploit the tabular data representations of network architectures. As decision tree-based models can better handle tabular data, in this paper, we propose to leverage gradient boosting decision tree (GBDT) as the predictor for NAS and demonstrate that it can improve the prediction accuracy and help to find better architectures than neural network based predictors. Moreover, considering that a better and compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT using an interpreting tool named SHAP. In this way, NAS can be performed by first pruning the search space (using GBDT as a pruner) and then searching a neural architecture (using GBDT as a predictor), which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of GBDT for NAS: (1) NAS with GBDT predictor finds top-10 architecture (among all the architectures in the search space) with $0.18\%$ test regret on NASBench-101, and achieves $24.2\%$ top-1 error rate on ImageNet; and (2) GBDT based search space pruning and neural architecture search further achieves $23.5\%$ top-1 error rate on ImageNet.

연구 동기 및 목표

• 신경망 기반 예측기가 신경 아키텍처의 표본화된 표현을 잘 다루지 못하는 한계를 해결하기 위해.
• GBDT가 표본화된 데이터에서 뛰어난 성능을 보이는 점을 활용하여 정확도 예측 및 아키텍처 검색 효율성을 향상시키기 위해.
• GBDT 기반의 검색 공간 정제와 GBDT 기반의 아키텍처 예측을 결합하여 더 효율적인 NAS를 개발하기 위해.
• GBDT의 특성 중요도와 SHAP 해석 도구를 활용하여 검색 공간을 효과적으로 축소하기 위해.
• NASBench-101과 ImageNet에서의 실험을 통해 GBDT가 NAS에서 효과적임을 입증하기 위해.

제안 방법

• 표본화된 아키텍처 표현을 모델링할 수 있는 능력을 활용하여, 신경 아키텍처 검색의 정확도 예측기로 기울기 부스팅 결정 트리(GBDT)를 사용한다.
• 학습된 GBDT 모델에서 특성 중요도를 추출하기 위해 SHAP (SHapley Additive exPlanations)를 사용하여 검색 공간 정제를 이끌어낸다.
• SHAP를 통해 식별된 낮은 중요도의 아키텍처 특성을 제거하여 점진적으로 검색 공간을 정제함으로써 더 컴act하고 효율적인 검색 공간을 확보한다.
• GBDT를 정제자로 사용하여 검색 공간을 정제한 후, GBDT를 예측자로 사용하여 아키텍처를 검색하는 두 단계로 NAS를 수행한다.
• 기존 NAS 벤치마크에서의 정확도 데이터를 기반으로 GBDT 예측기를 훈련시켜 후보 아키텍처의 성능을 예측한다.
• GBDT의 특성 중요도 분석을 통해 고영향도 아키텍처 구성 요소를 식별하여 검색 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 GBDT 기반 예측기는 신경망 기반 예측기보다 신경 아키텍처 검색의 정확도 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 GBDT 기반의 검색 공간 정제는 NAS의 효율성과 효과성에 기여하는가?
• RQ3 GBDT 기반의 정제와 예측을 조합하면 벤치마크 데이터셋에서 더 나은 최종 아키텍처를 도출할 수 있는가?
• RQ4 SHAP는 NAS 검색 공간 내에서 정제를 위한 중요한 아키텍처 특성을 식별하는 데 얼마나 효과적인가?
• RQ5 기존 방법에 비해 GBDT 기반의 NAS는 NASBench-101과 ImageNet에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• GBDT 기반의 NAS는 NASBench-101에서 0.18%의 테스트 회귀를 기록하여 검색 공간 내 상위 10개 아키텍처를 식별했다.
• GBDT를 단독 예측기로 사용했을 때 ImageNet에서 24.2%의 top-1 오차율을 기록했다.
• GBDT 기반의 검색 공간 정제와 GBDT 기반의 아키텍처 검색을 조합함으로써, ImageNet에서 top-1 오차율을 23.5%로 감소시켰다.
• SHAP를 활용한 중요한 아키텍처 특성 식별은 효과적이고 점진적인 검색 공간 정제를 가능하게 하여 검색 효율성을 향상시켰다.
• 표본화된 아키텍처 표현을 더 잘 다룰 수 있는 점을 고려할 때, GBDT는 신경망 기반 예측기보다 정확도 예측에서 뛰어난 성능을 보였다.
• 두 단계의 접근 방식(정제 → 검색)은 전체 공간에서 직접 검색하는 것보다 더 효율적이고 효과적인 것으로 입증되었다.