[論文レビュー] Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks
本稿では、重み共有スーパーネットから抽出されたサブネットワークがトレーニングの不安定性に起因するランダムノイズによって生じる性能推定誤差を是正するために、グラフ畳み込みネットワーク（GCN）の使用を提案する。サンプルされたアーキテクチャ上で軽量なGCNを訓練し、より正確な性能プロキシを学習することで、高い順位相関（ケンダール-τ最大0.76）を達成し、最終的な精度を向上（ImageNetにおけるトップ1精度75.5–75.6%）させつつ、ハードウェア制約下でも柔軟な探索を可能にする。
Neural architecture search has attracted wide attentions in both academia and industry. To accelerate it, researchers proposed weight-sharing methods which first train a super-network to reuse computation among different operators, from which exponentially many sub-networks can be sampled and efficiently evaluated. These methods enjoy great advantages in terms of computational costs, but the sampled sub-networks are not guaranteed to be estimated precisely unless an individual training process is taken. This paper owes such inaccuracy to the inevitable mismatch between assembled network layers, so that there is a random error term added to each estimation. We alleviate this issue by training a graph convolutional network to fit the performance of sampled sub-networks so that the impact of random errors becomes minimal. With this strategy, we achieve a higher rank correlation coefficient in the selected set of candidates, which consequently leads to better performance of the final architecture. In addition, our approach also enjoys the flexibility of being used under different hardware constraints, since the graph convolutional network has provided an efficient lookup table of the performance of architectures in the entire search space.
研究の動機と目的
- 重み共有スーパーネットから抽出されたサブネットワークの性能推定の不正確さを是正すること。これは、スーパーネット最適化中に生じるランダムなトレーニングノイズに起因する。
- 直接スーパーネットからのサンプリングよりも正確な性能プロキシを学習することで、NASにおけるアーキテクチャランクの信頼性を向上させること。
- 訓練済みGCNを用いて軽量で汎用性の高い性能ルックアップテーブルを構築することで、さまざまなハードウェア制約下での柔軟なNASを可能にすること。
- サブネットワーク評価におけるランダム誤差に起因する、局所最適解への収束リスクを低減すること。
提案手法
- サブネットワークの真の性能を、スーパーネットからの推定精度の線形関数と、平均がゼロのランダム誤差項の和としてモデル化する。
- ノードがサンプルされたサブネットワークを表し、エッジが共有セルや演算に基づくアーキテクチャ的類似性を符号化するグラフを構築する。
- アーキテクチャ特徴量から補正された性能推定値を回帰するようにGCNを訓練し、予測値と真値精度との間のL1損失を最小化する。
- 訓練済みGCNを、直接スーパーネット評価に代わる、軽量で高速な推論モデルとして活用し、全探索空間における性能を予測する。
- 特にCPUメモリ制限下において計算コストを管理するため、探索空間を部分空間に分割する。
- マルチアド・またはレイテンシ制約に基づいて、GCNが予測したルックアップテーブルから上位ランクのアーキテクチャをフィルタリングすることで、ハードウェアに配慮した探索を可能にする。
実験結果
リサーチクエスチョン
- RQ1グラフ畳み込みネットワークは、重み共有NASにおけるサブネットワークの性能推定におけるランダム誤差を効果的に低減できるか？
- RQ2GCNベースの補正は、直接スーパーネット評価と比較して、サブネットワークの推定性能と真の性能の順位相関をどの程度向上させるか？
- RQ3固定されたハードウェア制約下で、ImageNetなどのベンチマークにおいてGCNベースのアプローチが最終的なアーキテクチャ精度をどの程度向上させるか？
- RQ4GCNにおけるサンプルアーキテクチャ数や類似度メトリクスの選択に応じて、この手法はどの程度スケーラブルか？
- RQ5GCNの予測結果は、さまざまなハードウェア制約下での効率的なNASに向けた柔軟で汎用的なルックアップテーブルとして機能できるか？
主な発見
- 提案手法のGCNベースのアプローチは、予測された順位と真の順位の間に最大0.76のケンダール-τ順位相関を達成し、直接スーパーネットサンプリングによるベースラインの0.2143と比べ顕著に向上した。
- 383MマルチアドでImageNetにおけるトップ1精度75.5%、393Mマルチアドで75.6%を達成し、同様の制約下でランダムサンプリングや最先端のベースラインを上回った。
- 1ラウンドあたり2,000のサンプルアーキテクチャで5,000と同等の結果が得られ、追加で9GPU時間のトレーニングで実現可能であり、高いサンプル効率を示した。
- 1ラウンドあたり6つの候補を保持すると、1つに比べて探索の安定性と最終精度（75.47%）が向上（75.34%）し、探索における多様性の利点を裏付けた。
- 訓練済みGCNにより、マルチアドの異なるレベルにおけるアーキテクチャの高速かつ正確な性能ルックアップテーブルを生成でき、柔軟でハードウェアに配慮したアーキテクチャ探索が可能になった。
- このアプローチはFLOPsベースのフィルタリングを超えて、レイテンシなどの他のハードウェア制約に対しても一般化可能であり、その汎用性を示した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。