[論文レビュー] GradSign: Model Performance Inference with Theoretical Insights

Zhihao Zhang, Zhihao Jia|arXiv (Cornell University)|Oct 16, 2021

Advanced Neural Network Applications参考文献 52被引用数 6

ひとこと要約

GradSign は、サンプルごとの最適化ランドスケープ解析を活用してニューラルネットワークの精度を予測する理論的裏付けのある勾配ベースのメトリックであるモデルパフォーマンス推定（MPI）手法である。$Ψ$ という訓練損失および一般化損失の理論的上限を導入し、ランダム初期化時の単純な勾配統計を用いて近似する。この手法は、NASアルゴリズムに統合された際、最先端のMPI手法と比較してテスト精度で最大1.1%の向上を達成した。

ABSTRACT

A key challenge in neural architecture search (NAS) is quickly inferring the predictive performance of a broad spectrum of networks to discover statistically accurate and computationally efficient ones. We refer to this task as model performance inference (MPI). The current practice for efficient MPI is gradient-based methods that leverage the gradients of a network at initialization to infer its performance. However, existing gradient-based methods rely only on heuristic metrics and lack the necessary theoretical foundations to consolidate their designs. We propose GradSign, an accurate, simple, and flexible metric for model performance inference with theoretical insights. The key idea behind GradSign is a quantity Ψ to analyze the optimization landscape of different networks at the granularity of individual training samples. Theoretically, we show that both the network's training and true population losses are proportionally upper-bounded by Ψ under reasonable assumptions. In addition, we design GradSign, an accurate and simple approximation of Ψ using the gradients of a network evaluated at a random initialization state. Evaluation on seven NAS benchmarks across three training datasets shows that GradSign generalizes well to real-world networks and consistently outperforms state-of-the-art gradient-based methods for MPI evaluated by Spearman's ρ and Kendall's Tau. Additionally, we integrate GradSign into four existing NAS algorithms and show that the GradSign-assisted NAS algorithms outperform their vanilla counterparts by improving the accuracies of best-discovered networks by up to 0.3%, 1.1%, and 1.0% on three real-world tasks.

研究の動機と目的

• 既存の勾配ベースのモデルパフォーマンス推定（MPI）手法に理論的基盤が欠けているという問題に対処すること。
• 完全なトレーニングなしでニューラルネットワークのパフォーマンスを正確に予測できるメトリックを開発すること。
• ランダム初期化における局所的最適解の密度を測る観点から、初期化時における最適化ランドスケープをサンプルごとの視点で分析すること。
• 理論的根拠に基づき、計算効率的かつ一般化可能なMPIメトリックを設計すること。
• 既存の探索アルゴリズムに統合することで、ニューラルアーキテクチャ探索（NAS）を改善すること。

提案手法

• 訓練損失および一般化損失の両方を上限付ける理論的量 $Ψ$ を導入する。
• $Ψ$ を、ランダム初期化周辺の凸領域における局所的最適解の密度の尺度として定義する。
• 初期化時におけるサンプルごとの勾配のみを用いて、$Ψ$ の計算的に効率的な近似として GradSign を提案する。
• ミニバッチのトレーニングサンプルからの勾配の符号パターンの平均値として GradSign を計算する。
• GradSign スコアを用いて、トレーニングなしでNASパイプライン内の候補アーキテクチャを順位付けする。
• GradSign を4つのNASアルゴリズム（REA, REINFORCE, BOHB, RS）に統合し、アーキテクチャ選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 初期化時における勾配のみを用いて、理論的根拠に基づくメトリックを導出できるか？
• RQ2 サンプルごとの最適化ランドスケープを分析することで、フルバッチのランドスケープ分析よりも優れたパフォーマンス推定が可能か？
• RQ3 理論的上限 $Ψ$ の単純な近似が、最先端のMPI性能を達成できるか？
• RQ4 GradSign は、NASアルゴリズムが発見するアーキテクチャの精度向上にどの程度効果的か？
• RQ5 理想化された仮定が満たされない状況においても、GradSign は多様なアーキテクチャおよびデータセットに一般化可能か？

主な発見

• GradSign は、7つのNASベンチマークにおいて、真のモデルパフォーマンスとのスピアマン順位相関係数およびケンドールの順位相関係数が最高を記録した。
• NAS-Bench-201において、GradSignを統合したNASアルゴリズムは、CIFAR-100で最大1.1%、ImageNet16-120で最大1.0%のテスト精度向上を達成した。
• G-REA は CIFAR-10 で 94.10 ± 0.52% のテスト精度を達成し、REA（93.85 ± 0.44%）および A-REA（93.85 ± 0.44%）を上回った。
• 評価されたすべてのデータセットおよび探索空間において、GradSign は既存の勾配ベースMPI手法を一貫して上回った。
• GradSign をNASアルゴリズムに統合することで、探索コストを増加させることなく、より正確なアーキテクチャが得られた。
• 実際の仮定が満たされない状況においても、GradSign は良好な一般化性能を示し、実用的状況でのロバスト性を示した。