[論文レビュー] GP-NAS-ensemble: a model for NAS Performance Prediction

Kunlong Chen, Yang Liu+4 more|arXiv (Cornell University)|Jan 23, 2023

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

GP-NAS-ensembleはGaussian processとアンサンブル学習を組み合わせ、学習データが乏しい場合のNAS性能予測精度を向上させる。CVPR 2022 lightweight NAS challengeの結果で2位。

ABSTRACT

It is of great significance to estimate the performance of a given model architecture without training in the application of Neural Architecture Search (NAS) as it may take a lot of time to evaluate the performance of an architecture. In this paper, a novel NAS framework called GP-NAS-ensemble is proposed to predict the performance of a neural network architecture with a small training dataset. We make several improvements on the GP-NAS model to make it share the advantage of ensemble learning methods. Our method ranks second in the CVPR2022 second lightweight NAS challenge performance prediction track.

研究の動機と目的

• NASの候補アーキテクチャを完全に訓練せずに正確な性能予測を動機付ける。
• アンサンブル学習と特徴量エンジニアリング技術を組み込んでGP-NASを改善する。
• CVPR 2022 lightweight NAS challengeデータセットで堅牢性と精度向上を示す。

提案手法

• ガウス過程回帰を用いてアーキテクチャ性能を予測し、定義された事前平均とカーネル（Kalman様の更新）を用いる。
• 設定の類似性を捉えるためにOne-hotおよびTwo-hotエンコーディングでアーキテクチャ特徴を設計する。
• テストラベルが利用できない場合、アーキテクチャ精度の分布を仮定してラベルを変換する。
• k_wとk_rbf^sを組み合わせる重み付きアンサンブルカーネルを導入し、ベイズ最適化でタスクごとに重みを最適化する。
• GP-NASを含む異なるエンコーディングと他の古典的学習器を含む複数の基礎モデルを訓練し、それらの事前情報をGP-NAS-ensembleでブレンドする。

Figure 1 : An illustration of the proposed GP-NAS-ensemble model.

実験結果

リサーチクエスチョン

• RQ1 GP-NAS-ensembleは限定的な学習データを用いてNASの性能予測精度を向上させることができるか。
• RQ2 どの特徴エンコーディングとラベル変換の組み合わせが最良の予測性能をもたらすか。
• RQ3 重み付きアンサンブルカーネルとマルチモデルアンサンブルはNAS性能予測タスクのリーダーボードスコアを向上させるか。

主な発見

• ベースラインのGP-NASは公開リーダーボードで約0.668のスコア。
• One-hotまたはTwo-hot特徴量エンコーディングでスコアが約0.787に向上。
• Normal分布によるラベル変換は約0.796をもたらす。
• すべての改良を適用すると最終スコアは0.800近くになる。
• 重み付きアンサンブルカーネルはほとんどのタスクで性能を向上させ、タスク固有の構成が全体の向上に寄与する。
• GP-NAS-ensembleアプローチはCVPR 2022の第2回 lightweight NAS challengeの性能予測トラックで2位にランクイン。