[論文レビュー] Contrastive Neural Architecture Search with Neural Architecture Comparators

Yaofo Chen, Yong Guo+5 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning参考文献 57被引用数 5

ひとこと要約

本論文では、絶対的性能推定に頼るのではなく、候補アーキテクチャとベースラインアーキテクチャの間のペairワイズ比較を学習信号として用いることで、ニューラルアーキテクチャサーチ（NAS）を改善する手法、対照的ニューラルアーキテクチャサーチ（CTNAS）を提案する。Neural Architecture Comparator（NAC）を導入し、どのアーキテクチャがより優れているかを予測する。カリキュラム学習に基づくベースライン更新戦略を採用し、ラベル付きデータへの依存度を低減するためのデータ探索戦略を用いる。CTNASは、NAS-Bench-101で93.92%の最先端の精度を達成し、100アーキテクチャあたり4.1msという著しく高速な評価時間を実現し、ReNAS や ENAS などの手法を上回る。

ABSTRACT

One of the key steps in Neural Architecture Search (NAS) is to estimate the performance of candidate architectures. Existing methods either directly use the validation performance or learn a predictor to estimate the performance. However, these methods can be either computationally expensive or very inaccurate, which may severely affect the search efficiency and performance. Moreover, as it is very difficult to annotate architectures with accurate performance on specific tasks, learning a promising performance predictor is often non-trivial due to the lack of labeled data. In this paper, we argue that it may not be necessary to estimate the absolute performance for NAS. On the contrary, we may need only to understand whether an architecture is better than a baseline one. However, how to exploit this comparison information as the reward and how to well use the limited labeled data remains two great challenges. In this paper, we propose a novel Contrastive Neural Architecture Search (CTNAS) method which performs architecture search by taking the comparison results between architectures as the reward. Specifically, we design and learn a Neural Architecture Comparator (NAC) to compute the probability of candidate architectures being better than a baseline one. Moreover, we present a baseline updating scheme to improve the baseline iteratively in a curriculum learning manner. More critically, we theoretically show that learning NAC is equivalent to optimizing the ranking over architectures. Extensive experiments in three search spaces demonstrate the superiority of our CTNAS over existing methods.

研究の動機と目的

• ニューラルアーキテクチャサーチ（NAS）における絶対的性能推定の不安定さと高コストを解消し、しばしば低い探索効率や性能を引き起こす要因を是正すること。
• 実際の応用において高価で入手困難な大量のラベル付き性能データに依存するのを減らすこと。
• 相対的比較（例：「このアーキテクチャはベースラインより優れているか？」）を主な学習信号として用いることで、探索の安定性と性能を向上させること。
• 限られたラベル付きデータと能動的データ探索を用いて、未観測のアーキテクチャに対しても一般化しやすい手法を開発すること。

提案手法

• 2つのアーキテクチャを入力とし、最初のアーキテクチャが2番目のものよりも優れている確率を出力する深層学習モデルであるNeural Architecture Comparator（NAC）を提案する。
• 強化学習ベースのNASにおいて、絶対的性能推定の代わりにペアワイズ比較の結果を報酬信号として用いる。
• 段階的学習に基づくベースライン更新方式を導入し、反復的にベースラインアーキテクチャを改善することで、挑戦的かつ公平な比較対象を維持する。
• NACが未ラベル付きアーキテクチャに対して予測したラベルを用いて、未ラベル付きアーキテクチャのデータを拡張するデータ探索戦略を採用し、最小限のラベル付きデータで一般化性能を向上させる。
• アーキテクチャ間の順序付け性能を理論的に最適化する対照的学習目的関数を設計し、NACが意味のある比較を学習できるようにする。
• 検証データへの順伝播計算を回避することで評価コストを削減する。NACは低次元の入力と浅い3層のネットワークを用い、アーキテクチャグラフに直接処理を実行する。

実験結果

リサーチクエスチョン

• RQ1 絶対的性能推定に比べ、ペアワイズのアーキテクチャ比較はNASの学習信号としてより安定的かつ効率的であるか？
• RQ2 限られたラベル付き性能データで、ニューラルコンパレータを効果的に訓練できるか？
• RQ3 カリキュラム学習による反復的ベースライン改善は、探索の安定性と性能を向上させるか？
• RQ4 未ラベル付きアーキテクチャに対してNACが予測したラベルを用いたデータ探索は、一般化性能を向上させ、ラベル付きデータへの依存度を低下させるか？
• RQ5 提案手法は、最先端のNAS手法と比較して、精度と効率の両面で優れているか？

主な発見

• CTNASは、NAS-Bench-101の探索空間で93.92%のトップ-1精度を達成し、ReNAS や ENAS などの既存手法を上回った。
• 100アーキテクチャの評価にわずか4.1msで完了し、ReNAS（85.6ms）や ENAS（2.7s）よりも著しく高速であった。
• カリキュラム学習に基づくベースライン更新により、固定ベースラインの場合に比べ0.53%、ランダム更新の場合に比べ0.39%の性能向上が得られた。
• データ探索比 r=0.5（50%の予測ラベル）が最良の性能を示し、93.92%の精度を達成した。これより低いまたは高い比では性能が低下した。
• 423個のラベル付きサンプルで性能が頭打つことが確認され、少量のラベル付きデータでも効率的で一般化性能に優れたことが示された。
• 理論的分析により、NACの学習はアーキテクチャの順序付け最適化と同等であることが示され、比較ベースの学習の有効性が裏付けられた。