[論文レビュー] KNAS: Green Neural Architecture Search

Jingjing Xu, Liang Zhao+4 more|arXiv (Cornell University)|Nov 26, 2021

Machine Learning in Materials Science被引用数 4

ひとこと要約

KNASは、勾配カーネル仮説を活用することで、トレーニングを伴わずにニューラルネットワークアーキテクチャを評価するグリーンなニューラルアーキテクチャサーチ手法を提案する。具体的には、勾配のグラム行列の平均（MGM）を下流の性能の代理指標として用いる。この手法により、トレーニングコストを桁違いに削減しつつ、競争力ある精度を達成し、テキスト分類タスクにおいてRoBERTA-largeを上回る性能を発揮する。

ABSTRACT

Many existing neural architecture search (NAS) solutions rely on downstream training for architecture evaluation, which takes enormous computations. Considering that these computations bring a large carbon footprint, this paper aims to explore a green (namely environmental-friendly) NAS solution that evaluates architectures without training. Intuitively, gradients, induced by the architecture itself, directly decide the convergence and generalization results. It motivates us to propose the gradient kernel hypothesis: Gradients can be used as a coarse-grained proxy of downstream training to evaluate random-initialized networks. To support the hypothesis, we conduct a theoretical analysis and find a practical gradient kernel that has good correlations with training loss and validation performance. According to this hypothesis, we propose a new kernel based architecture search approach KNAS. Experiments show that KNAS achieves competitive results with orders of magnitude faster than "train-then-test" paradigms on image classification tasks. Furthermore, the extremely low search cost enables its wide applications. The searched network also outperforms strong baseline RoBERTA-large on two text classification tasks. Codes are available at \url{https://github.com/Jingjing-NLP/KNAS} .

研究の動機と目的

• 既存のニューラルアーキテクチャサーチ（NAS）手法がアーキテクチャ評価に完全なトレーニングに依存するため生じる高い計算コストと環境負荷を軽減すること。
• ランダムに初期化されたネットワークからの勾配が、下流のトレーニング性能を信頼できる代理指標として機能するかどうかを調査すること。
• トレーニングを検索中に完全に排除しながらも、競争力あるモデル精度を維持できるグリーンNASソリューションを開発すること。
• 提案手法の一般化能力を、画像分類やテキスト分類を含む多様なタスクにおいて検証すること。

提案手法

• 勾配カーネル仮説を提唱：ランダムに初期化されたネットワークからの勾配が、下流のトレーニング性能の粗い代理指標として機能しうることを示す。
• 勾配のグラム行列（GM）を重要な特徴と特定し、そのフロベニウスノルムが最適化の収束速度を上限づけることを示す。
• アーキテクチャ評価のための実用的でスケーラブルな指標として、グラム行列の平均（MGM）を導入する。
• MGMを用いてトレーニングなしでアーキテクチャをランク付けし、全トレーニングを実行するのは上位k個の候補に限定する。
• 画像分類のNAS-Bench-201と、RoBERTAベースの検索空間を用いたテキスト分類タスクにこの手法を適用する。
• 理論的分析により、MGMが大きいほど収束が速く、一般化性能が優れることが示され、勾配カーネル仮説の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化されたネットワークからの勾配は、下流のトレーニング性能を信頼できる方法で予測できるか？
• RQ2 勾配のグラム行列（GM）は、トレーニング損失およびバリデーション精度と強く相関するか？
• RQ3 MGMに基づくトレーニングフリーのアーキテクチャ評価手法は、完全トレーニングを伴うNASと比較して競争力ある性能を達成できるか？
• RQ4 提案されたKNAS手法は、画像分類やテキスト分類といった異なるタスクに一般化できるか？
• RQ5 この手法が検索効率および炭素排出量削減に与える影響は何か？

主な発見

• CIFAR-100において、MGMは負のトレーニング損失と0.53（p ≪ 0.01）のスピアマン相関を示し、バリデーション精度とは0.56（p ≪ 0.01）の相関を示した。
• KNASは、完全トレーニングNASと比較して検索コストを桁違いに削減しながら、NAS-Bench-201で競争力ある精度を達成した。
• テキスト分類タスクにおいて、MRPCではRoBERTA-largeを1.24%、RTEでは0.24%上回る性能を発揮した。
• MRPCではわずか0.4K秒、RTEでは2K秒の検索時間で実現され、極めて高い効率性が示された。
• 異なる初期化手法、正則化タイプ、およびネットワークアーキテクチャ（例：CNNと自己注意機構ネットワーク）に対しても、良好な一般化性能を示した。
• 理論的分析により、GM行列のFノルムが大きいほど収束が速くなることが確認され、勾配カーネル仮説の妥当性が裏付けられた。