[論文レビュー] Neural Architecture Search with GBDT.

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Jul 9, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 25

ひとこと要約

本論文は、ニューラルアーキテクチャ探索（NAS）における精度予測子として勾配ブースティング決定木（GBDT）を提案し、GBDTがテーブル形式のアーキテクチャデータを効果的に処理できる強みを活かして、探索の効率性と正確性を向上させることを目的としている。GBDTを用いた探索空間の圧縮とGBDTを用いたアーキテクチャ予測を組み合わせることで、最先端の性能を達成し、ImageNetでは23.5%のtop-1誤差、NASBench-101では0.18%のテストレグレットを達成した。

ABSTRACT

Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing interests due to its simplicity and effectiveness. Previous works employ neural network based predictors which unfortunately cannot well exploit the tabular data representations of network architectures. As decision tree-based models can better handle tabular data, in this paper, we propose to leverage gradient boosting decision tree (GBDT) as the predictor for NAS and demonstrate that it can improve the prediction accuracy and help to find better architectures than neural network based predictors. Moreover, considering that a better and compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT using an interpreting tool named SHAP. In this way, NAS can be performed by first pruning the search space (using GBDT as a pruner) and then searching a neural architecture (using GBDT as a predictor), which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of GBDT for NAS: (1) NAS with GBDT predictor finds top-10 architecture (among all the architectures in the search space) with $0.18\%$ test regret on NASBench-101, and achieves $24.2\%$ top-1 error rate on ImageNet; and (2) GBDT based search space pruning and neural architecture search further achieves $23.5\%$ top-1 error rate on ImageNet.

研究の動機と目的

• ニューラルネットワークベースの予測子が、ニューラルアーキテクチャのテーブル表現をうまく処理できないというNASにおける限界を解消すること。
• GBDTがテーブルデータに対して優れた性能を発揮することを活かして、予測精度とアーキテクチャ探索の効率性を向上させること。
• GBDTを用いた探索空間の圧縮とGBDTを用いたアーキテクチャ予測を組み合わせた、より効率的なNAS手法の開発。
• GBDTの特徴量重要度とSHAPの解釈可能性ツールを用いて、効果的に探索空間を圧縮すること。
• NASBench-101およびImageNetにおける実験を通じて、GBDTがNASにおいて有効であることを実証すること。

提案手法

• アーキテクチャのテーブル表現をモデル化できるGBDTを、ニューラルアーキテクチャ探索の精度予測子として採用し、その特長を活かす。
• 訓練済みGBDTモデルから特徴量重要度を抽出するためにSHAP（SHapley Additive exPlanations）を用いることで、探索空間の圧縮を支援する。
• SHAPによって特定された低重要度のアーキテクチャ的特徴量を段階的に削除することで、よりコンactかつ効率的な探索空間を実現する。
• NASを2段階で実行する：まずGBDTをプーリングツールとして用いて探索空間を圧縮し、次にGBDTを予測器として用いてアーキテクチャを探索する。
• GBDT予測器を、NASベンチマークから得た既存の精度データを学習データとして用いて訓練し、候補アーキテクチャの性能を予測する。
• GBDTの特徴量重要度分析によって特定された高インパクトなアーキテクチャ的要素に焦点を当てることで、探索プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 GBDTベースの予測子は、ニューラルアーキテクチャ探索における精度予測において、ニューラルネットワークベースの予測子を上回ることができるか？
• RQ2 GBDTベースの探索空間圧縮は、NASの効率性と有効性を向上させるか？
• RQ3 GBDTベースの圧縮と予測の組み合わせにより、ベンチマークデータセット上でより優れた最終アーキテクチャが得られるか？
• RQ4 SHAPは、NASの探索空間内での重要なアーキテクチャ的特徴量の特定にどの程度有効か？
• RQ5 GBDTベースのNASは、NASBench-101およびImageNetにおいて、先行手法に比べてどの程度の性能向上を達成できるか？

主な発見

• GBDTベースのNASは、NASBench-101で0.18%のテストレグレットを達成し、探索空間内での上位10個のアーキテクチャを特定した。
• GBDTを予測器として単独で使用した場合、ImageNetでは24.2%のtop-1誤差率を達成した。
• GBDTベースの探索空間圧縮とGBDTベースのアーキテクチャ探索を組み合わせることで、ImageNetにおけるtop-1誤差率は23.5%にまで低下した。
• SHAPを用いた重要なアーキテクチャ的特徴量の特定により、効果的かつ段階的な探索空間圧縮が可能となり、探索効率が向上した。
• GBDTは、テーブル形式のアーキテクチャ表現をより効果的に処理できるため、ニューラルネットワークベースの予測子よりも精度予測で優れた性能を示した。
• 2段階アプローチ（圧縮→探索）は、完全な探索空間に対する直接探索よりも、より効率的かつ効果的であった。