[論文レビュー] Accuracy Prediction with Non-neural Model for Neural Architecture Search

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Neural Network Applications参考文献 52被引用数 5

ひとこと要約

本論文は、ニューラルアーキテクチャ探索（NAS）における非ニューラル精度予測子として勾配ブースティング決定木（GBDT）の使用を提案し、GBDTがニューラルネットワークベースの予測子と同等またはそれ以上の予測精度を達成することを示している。GBDTの特徴量重要度とSHAP値を活用することで、探索空間を削減し、サンプル効率を向上させ、ImageNetでは23.4%のトップ-1誤差を達成し、NASBench-101ではランダムサーチ比22倍のサンプル効率向上を達成した。

ABSTRACT

Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing attention due to its simplicity and effectiveness. Previous works usually employ neural network-based predictors which require more delicate design and are easy to overfit. Considering that most architectures are represented as sequences of discrete symbols which are more like tabular data and preferred by non-neural predictors, in this paper, we study an alternative approach which uses non-neural model for accuracy prediction. Specifically, as decision tree based models can better handle tabular data, we leverage gradient boosting decision tree (GBDT) as the predictor for NAS. We demonstrate that the GBDT predictor can achieve comparable (if not better) prediction accuracy than neural network based predictors. Moreover, considering that a compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT. In this way, NAS can be performed by first pruning the search space and then searching a neural architecture, which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of using GBDT as predictor for NAS: (1) On NASBench-101, it is 22x, 8x, and 6x more sample efficient than random search, regularized evolution, and Monte Carlo Tree Search (MCTS) in finding the global optimum; (2) It achieves 24.2% top-1 error rate on ImageNet, and further achieves 23.4% top-1 error rate on ImageNet when enhanced with search space pruning. Code is provided at https://github.com/renqianluo/GBDT-NAS.

研究の動機と目的

• ニューラル予測子の過学習や設計の複雑さを克服するため、特にGBDTを含む非ニューラルモデルをNASにおける精度予測子として探索すること。
• GBDTが探索空間から性能が低い演算子を特定・削除できる能力を活用することで、NASにおけるサンプル効率を向上させること。
• 2段階のNASフレームワークの開発—まずGBDTを用いて探索空間を削減し、その後同じGBDTを予測子として用いて削減後の空間内で探索を行うこと。
• NASBench-101およびImageNetを含むベンチマークデータセット上で、GBDTベースの予測と削減の有効性を検証すること。

提案手法

• ニューラルアーキテクチャをワンホットエンコードされた表形式特徴量に再定式化し、GBDTベースの学習に適した形にすること。
• 少量のアーキテクチャ-精度ペアを用いてGBDTモデルを学習させ、未観測のアーキテクチャの精度を予測すること。
• SHAP値を用いて特徴量の重要度を解釈し、有害な演算子（例：レイヤー1における「MB3 7x7」）を特定して削減すること。
• 負のSHAP値および寄与度が低い特徴量を段階的に削除することで、探索の複雑さを低減すること。
• 同じGBDT予測子を用いて削減後の探索空間でNASを実行し、優れた性能を示すアーキテクチャを選択すること。
• ImageNetでの検証とNASBench-101におけるベースラインNAS手法との比較により、性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 GBDTのような非ニューラルモデルは、NASにおける精度予測において、ニューラルネットワークベースの予測子を上回ることができるか？
• RQ2 GBDTを用いて探索空間の削減を誘導することで、NASにおけるサンプル効率が向上するか？
• RQ3 SHAPに基づく特徴量解釈は、探索空間から劣悪な演算子を特定・削除するのにどの程度有効か？
• RQ4 GBDT-NAS-S3は、標準のNASベースラインと比較してImageNetでより高い精度を達成できるか？

主な発見

• GBDT-NASは、NASBench-101においてランダムサーチ比22倍、正則化進化比8倍、モンテカルロツリー探索比6倍の高いサンプル効率を達成した。
• GBDT-NASはImageNetで24.2%のトップ-1誤差率を達成し、非ニューラル予測子でありながら強力な性能を示した。
• SHAP値による探索空間の削減を組み込んだGBDT-NAS-S3は、ImageNetで23.4%のトップ-1誤差率を達成し、非削減バージョンを上回った。
• SHAPベースの削減は特徴量重要度ベースの削減を上回り、反復回数を重ねるごとに精度の差が拡大し、より質の高い部分空間が得られていることが示された。
• GBDT-NAS-S3が発見したアーキテクチャは、SHAP分析により有害と特定された「MB3 7x7」演算子（レイヤー1）を回避しており、一般化性能の向上に寄与した。
• GBDTで削減された探索空間から抽出されたアーキテクチャの平均検証精度は、ベースラインを上回っており、反復回数を重ねるごとに差が拡大した。