[論文レビュー] A Novel Training Protocol for Performance Predictors of Evolutionary Neural Architecture Search Algorithms

Yanan Sun, Xian Sun+2 more|arXiv (Cornell University)|Aug 30, 2020

Machine Learning and Data Classification参考文献 46被引用数 4

ひとこと要約

本論文は、進化的ニューラルアーキテクチャ探索（ENAS）におけるパフォーマンス予測子のための新しいトレーニングプロトコルを提案する。予測精度の向上を図るために、ペairワイズ順位付け指標をターゲットとし、ロジスティック回帰を用いてモデル化し、差分ベースのトレーニングインスタンスを用いてデータの不均衡を回避する。実験の結果、従来のプロトコルと比較してCIFAR10-CNNで平均16.97%、CIFAR100-CNNで7.49%の顕著な向上が得られた。

ABSTRACT

Evolutionary Neural Architecture Search (ENAS) can automatically design the architectures of Deep Neural Networks (DNNs) using evolutionary computation algorithms. However, most ENAS algorithms require intensive computational resource, which is not necessarily available to the users interested. Performance predictors are a type of regression models which can assist to accomplish the search, while without exerting much computational resource. Despite various performance predictors have been designed, they employ the same training protocol to build the regression models: 1) sampling a set of DNNs with performance as the training dataset, 2) training the model with the mean square error criterion, and 3) predicting the performance of DNNs newly generated during the ENAS. In this paper, we point out that the three steps constituting the training protocol are not well though-out through intuitive and illustrative examples. Furthermore, we propose a new training protocol to address these issues, consisting of designing a pairwise ranking indicator to construct the training target, proposing to use the logistic regression to fit the training samples, and developing a differential method to building the training instances. To verify the effectiveness of the proposed training protocol, four widely used regression models in the field of machine learning have been chosen to perform the comparisons on two benchmark datasets. The experimental results of all the comparisons demonstrate that the proposed training protocol can significantly improve the performance prediction accuracy against the traditional training protocols.

研究の動機と目的

• 進化的ニューラルアーキテクチャ探索（ENAS）におけるパフォーマンス予測子のための従来のトレーニングプロトコルの非効率性と不正確さを是正すること。
• 従来のアプローチ（生のパフォーマンス値を用いた平均二乗誤差と独立なサンプル）に内在する欠陥を特定し、順位ベースの予測タスクには不適切であることを示すこと。
• 相対的なパフォーマンス順位が絶対値予測よりも重要である現実世界のENASユースケースに適した、新しいトレーニングプロトコルを開発すること。
• 回帰タスクにおけるデータの不均衡とモデリングの複雑さに対処することで、パフォーマンス予測子の一般化性能とロバスト性を向上させること。

提案手法

• DNNアーキテクチャ間の相対的パフォーマンスを捉えるために、ペアワイズ順位付け指標をトレーニングターゲットとして提案する。これは絶対値ではなく、相対的な性能を対象とする。
• 従来の線形回帰をロジスティック回帰に置き換え、あるアーキテクチャが他のアーキテクチャを上回る確率をモデル化することで、順位の整合性を向上させる。
• トレーニングインスタンスをDNNアーキテクチャペア間の差分として構築することで、正例と負例の自然なバランスを確保し、データの不均衡を低減する。
• 3つの要素を統合した包括的なトレーニングプロトコルを構築し、パフォーマンス予測子の一般化性能と予測精度を向上させる。
• 4つの標準的な回帰モデル（SVM、GBDT、DTree、RForest）を用いて2つのベンチマークデータセットにプロトコルを適用し、有効性を検証する。
• アブレーションスタディを実施し、各要素の貢献度を分離して評価する。特に、最初の2つの要素の相乗的関係に注目する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ順位付け指標をトレーニングターゲットとして用いることで、従来の平均二乗誤差ベースの回帰と比較して、ENAS予測子のパフォーマンス予測精度にどのような影響を与えるか？
• RQ2 線形回帰をロジスティック回帰に置き換えることで、ENASにおけるパフォーマンス予測子の順位付け能力はどの程度向上するか？
• RQ3 DNNアーキテクチャペア間の差分としてトレーニングインスタンスを構築することで、データの不均衡を緩和し、予測子の一般化性能を向上させられるか？
• RQ4 提案されたトレーニングプロトコルのどの要素が性能向上に最も寄与しており、それらはどのように相互作用しているか？

主な発見

• 提案されたトレーニングプロトコルは、予測精度を顕著に向上させ、CIFAR10-CNNベンチマークでは従来プロトコルと比較して平均16.97%の向上を達成した。
• CIFAR100-CNNベンチマークでも、従来プロトコルと比較して平均7.49%の向上を示し、データセットをまたいで一貫した改善が得られた。
• 最初の2つの要素（ペアワイズ順位付けとロジスティック回帰）を無効化した場合、CIFAR10-CNNで16.97%、CIFAR100-CNNで7.49%の著しい性能低下が生じ、これらが中心的役割を果たしていることを示している。
• 3番目の要素（差分ベースのインスタンス）のみを無効化した場合、CIFAR10-CNNで2.75%、CIFAR100-CNNで1.17%の小さな低下にとどまり、これはやや低いが依然として有益な貢献であることを示している。
• アブレーションスタディにより、最初の2つの要素は相互に依存しており、単独で効果的に機能しないことが確認され、それらの相乗的影響が顕著であることがわかった。
• 提案されたプロトコルは、両方のベンチマークデータセットにおいて、4つの回帰モデル（SVM、GBDT、DTree、RForest）すべてで従来プロトコルを上回った。