[論文レビュー] One-Shot Neural Architecture Search via Compressive Sensing

Minsu Cho, Mohammadreza Soltani+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Neural Network Applications参考文献 45被引用数 16

ひとこと要約

本稿では、圧縮センシングとブールフーリエ解析を活用して、最小限の検証測定で高パフォーマンスなアーキテクチャを効率的に同定する、1ショットニューラルアーキテクチャサーチ手法CoNASを提案する。アーキテクチャパフォーマンスをスパースなブール関数としてモデル化し、LASSOベースの回復手法を用いることで、DARTSおよびNAS-Bench-201で競争力ある精度を達成するとともに、測定効率に関する理論的保証を提供する。

ABSTRACT

Neural Architecture Search remains a very challenging meta-learning problem. Several recent techniques based on parameter-sharing idea have focused on reducing the NAS running time by leveraging proxy models, leading to architectures with competitive performance compared to those with hand-crafted designs. In this paper, we propose an iterative technique for NAS, inspired by algorithms for learning low-degree sparse Boolean functions. We validate our approach on the DARTs search space (Liu et al., 2018b) and NAS-Bench-201 (Yang et al., 2020). In addition, we provide theoretical analysis via upper bounds on the number of validation error measurements needed for reliable learning, and include ablation studies to further in-depth understanding of our technique.

研究の動機と目的

• 神経アーキテクチャサーチ（NAS）の高い計算コストを低減するため、最小限の検証測定で1ショット探索を可能にする。
• 既存の1ショットNAS手法におけるプロキシモデルの限界を克服するため、理論的根拠に基づくスパース回復フレームワークを導入する。
• サブアーキテクチャのバイナリ符号化を通じて、多様なアーキテクチャの探索を可能にする新しいサーチスペースを開発する。
• 圧縮センシングの原則に従い、信頼性のあるアーキテクチャ回復に必要な測定回数の理論的境界を提供する。
• LASSO最適化によって回復可能な低次数のスパースブール関数としてアーキテクチャ精度をモデル化することで、探索効率とパフォーマンスを向上させる。

提案手法

• 各ニューラルアーキテクチャをDAGベースのサーチスペースにおけるエッジ演算のバイナリーベクトルとして表現し、サブアーキテクチャの離散的表現を可能にする。
• アーキテクチャの検証損失をバイナリ符号化のハイパーキューブ上の実数値ブール関数としてモデル化する。
• アーキテクチャパフォーマンス関数のスパース性（次数 ≤ d の低次モナミアルに限定）を仮定し、フーリエ基底展開を用いて表現する。
• パラメータ共有を有する1ショットモデルを用いて、アーキテクチャパフォーマンスのランダム測定からグラフサンプリング行列Aを構築する。
• m回の測定からスパースなフーリエ係数をLASSO回帰により回復し、最も影響力のあるアーキテクチャ要因を同定する。
• 回復された解における絶対値が最大のs個の係数に対応するバイナリーベクトルを選択することで、最適なアーキテクチャを再構築する。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングの原則は、1ショットNASにおける検証測定回数の削減に効果的に適用可能か？
• RQ2 フーリエドメインにおけるアーキテクチャパフォーマンス関数のスパarsityが、NASの精度と効率にどのように影響するか？
• RQ3 LASSOベースのスパース回復を用いて、信頼性のある高パフォーマンスアーキテクチャを回復するのに必要な理論的最小測定回数は何か？
• RQ4 スクラッチから訓練した際の真のパフォーマンスと比較して、1ショットプロキシモデルによるアーキテクチャの順位付けの整合性はどの程度か？
• RQ5 LASSO正則化パrameterの変化に対して、CoNASの解はどの程度安定しているか？

主な発見

• CoNASはDARTSサーチスペースおよびNAS-Bench-201で競争力ある精度を達成し、最適なLASSOパrameter下でテスト誤差3.51% ± 0.06を達成した。
• 理論的解析により、制限等長性性質（RIP）の条件下で、m = O(log²(1/δ)δ⁻²s log²(s/δ)d log n)回の測定で、高い確率で信頼性のある回復が可能であることが示された。
• 1ショットモデルの予測と実際の訓練結果との間のケンダールタウ相関は弱く（τ = 0.15, p = 0.23）であり、プロキシモデルの順位付けの整合性が低いことが示された。
• CoNASはLASSOパrameterの変動に対して頑健であり、異なるλ値における解のハミング距離は低く（≤12）、テスト誤差は3.51–3.74%の範囲で安定した。
• エンコーダーの140のうち平均15の有効な演算が回復されたことから、効果的なスパース性誘導が実現された。
• 最適設定下でCoNASはランダムアーキテクチャサーチを上回り、テスト誤差4.43% ± 0.08（ランダム）対3.51% ± 0.06（CoNAS）を達成した。