[論文レビュー] AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing.

Yuge Zhang, Chenqian Yan+5 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 5

ひとこと要約

AceNASは、NDCGを最適化目的として用い、LambdaRankで学習する、ニューラルアーキテクチャサーチ（NAS）のためのラーニング・トゥ・ランク（LTR）フレームワークを導入する。重み共有による弱い監視を活用することで、検索コストを低減する。スーパーネットの弱いラベルを用いてアーキテクチャ表現を事前学習し、少数の正確な精度測定値を用いて微調整することで、高価なトレーニング実行回数を著しく減らしながら、最先端の性能を達成する。

ABSTRACT

Architecture performance predictors have been widely used in neural architecture search (NAS). Although they are shown to be simple and effective, the optimization objectives in previous arts (e.g., precise accuracy estimation or perfect ranking of all architectures in the space) did not capture the ranking nature of NAS. In addition, a large number of ground-truth architecture-accuracy pairs are usually required to build a reliable predictor, making the process too computationally expensive. To overcome these, in this paper, we look at NAS from a novel point of view and introduce Learning to Rank (LTR) methods to select the best (ace) architectures from a space. Specifically, we propose to use Normalized Discounted Cumulative Gain (NDCG) as the target metric and LambdaRank as the training algorithm. We also propose to leverage weak supervision from weight sharing by pretraining architecture representation on weak labels obtained from the super-net and then finetuning the ranking model using a small number of architectures trained from scratch. Extensive experiments on NAS benchmarks and large-scale search spaces demonstrate that our approach outperforms SOTA with a significantly reduced search cost.

研究の動機と目的

• 従来のNAS最適化目的とアーキテクチャ選択の順位付けの性質との不一致を是正する。
• 性能予測子のトレーニングに必要な大規模な真値精度ペアに依存することを最小限に抑え、アーキテクチャ性能予測の高い計算コストを低減する。
• スーパーネットからの重み共有を活用し、アーキテクチャ表現の事前学習に弱いラベルを生成する。
• 弱い監視と少数の正確なトレーニング結果の微調整を組み合わせることで、最小限の監視で効果的なニューラルアーキテクチャの順位付けを可能にする。
• 従来の手法と比較して、著しく低い検索コストでNASにおいて最先端の性能を達成する。

提案手法

• NASを、正規化済み割引累積利得（NDCG）を主な最適化指標として用いるラーニング・トゥ・ランク（LTR）問題として定式化する。
• 順位品質を直接最適化するLambdaRankアルゴリズムを用いて、順位付けモデルを学習する。
• スーパーネットのパフォーマンスから得られる弱いラベルを用いて、アーキテクチャ表現モデルを事前学習し、効率的な初期化を実現する。
• 完全に再トレーニングされた少数のアーキテクチャの、正確な測定結果を用いて、順位付けモデルを微調整し、精度と順位付けの整合性を向上させる。
• ニューラルネットワークを用いて、アーキテクチャを連続的表現空間に埋め込むことで、効果的な比較と順位付けを可能にする。
• 事前学習と微調整のパイプラインを統合し、アーキテクチャ選択における効率性と正確性のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 ラーニング・トゥ・ランク手法を用いることで、検索問題の順位付けの性質に適合させることで、ニューラルアーキテクチャサーチの効率性と有効性を向上させられるか？
• RQ2 スーパーネットにおける重み共有からの弱い監視は、性能予測子のトレーニングに必要な高価な真値精度ラベルの必要性をどの程度低減できるか？
• RQ3 弱いラベルでの事前学習と、少数の正確な結果に対する微調整の組み合わせが、最終的な順位付け性能と検索コストにどのような影響を与えるか？
• RQ4 最適化目的としてNDCGを使用することで、標準的な回帰または分類目的と比較して、上位k個のアーキテクチャ選択が改善されるか？
• RQ5 提案手法は、著しく低い計算コストでNASベンチマークにおいて最先端の性能を達成できるか？

主な発見

• AceNASは、複数のNASベンチマークで最先端の性能を達成し、精度と効率の両面で既存手法を上回る。
• 弱い監視を効果的に活用することで、高価なトレーニング実行回数を極めて少なくし、検索コストを顕著に削減する。
• スーパーネットの弱いラベルでの事前学習により、モデルが良好に一般化され、大量のラベル付きデータの必要性が低下する。
• 完全に再トレーニングされた少数のアーキテクチャの正確な結果を用いた微調整により、順位付けの質と最終的なアーキテクチャ性能が著しく向上する。
• NDCGとLambdaRankを最適化目的として用いることで、標準的な精度推定手法と比較して、上位k個のアーキテクチャ選択がより優れている。
• 大規模な探索空間においても強力なスケーラビリティを示し、最小限の計算オーバーヘッドで高い性能を維持する。