[論文レビュー] Differentiable Architecture Search with Ensemble Gumbel-Softmax

Jianlong Chang, Xinbang Zhang+4 more|arXiv (Cornell University)|May 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 11

ひとこと要約

本稿では、異なる可微分ニューラルアーキテクチャ探索手法 DARTS-EGS を提案する。この手法は、アンサンブル Gumbel-Softmax推定器を用いることで、多様な前向き型および再帰型ネットワークにおいてエンドツーエンドで効率的なアーキテクチャ探索を可能にする。アーキテクチャをバイナリコードでモデル化し、可微分サンプリングを活用することで、画像分類および言語モデリングの分野で最先端の性能を達成しながらも、高い探索効率を維持する。

ABSTRACT

For network architecture search (NAS), it is crucial but challenging to simultaneously guarantee both effectiveness and efficiency. Towards achieving this goal, we develop a differentiable NAS solution, where the search space includes arbitrary feed-forward network consisting of the predefined number of connections. Benefiting from a proposed ensemble Gumbel-Softmax estimator, our method optimizes both the architecture of a deep network and its parameters in the same round of backward propagation, yielding an end-to-end mechanism of searching network architectures. Extensive experiments on a variety of popular datasets strongly evidence that our method is capable of discovering high-performance architectures, while guaranteeing the requisite efficiency during searching.

研究の動機と目的

• ニューラルアーキテクチャ探索（NAS）における効果性と効率性のバランスを改善すること。
• 可微分探索を用いて、ネットワークアーキテクチャとパラメータを同時にエンドツーエンドで最適化すること。
• 事前に定義された接続を持つ固定数の接続を持つ任意の前向き型ネットワークを含む、探索空間を拡張することにより、アーキテクチャの多様性を高めること。
• 遅延報酬や高コストな計算を回避する、スケーラブルで効率的かつ可微分なアーキテクチャ探索メカニズムの開発

提案手法

• 固定された接続数と順序付きノードを持つ任意の前向き型ネットワークを表現するために、バイナリコードを用いて探索空間を表現する。
• 離散的なアーキテクチャ選択に対する可微分サンプリングを可能にするアンサンブル Gumbel-Softmax推定器を導入し、非可微分演算を置き換える。
• 複数回のサンプリング（M回）を用いることで探索の多様性と性能を向上させつつ、バックプロパゲーションによる勾配伝搬を維持する。
• 探索中はバッチ正則化を適用し、評価時には無効化することで学習の安定化を図る。
• 標準的なバックプロパゲーション機構を用いて、1つの最適化ループ内でアーキテクチャと重みを同時に最適化する。
• 学習可能な演算とハイウェイバイパス接続を用いてセルをモデル化することで、畳み込み型および再帰型アーキテクチャの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 可微分NAS手法は、計算コストを抑えたまま、より広く多様な探索空間を効果的に探索できるか？
• RQ2 従来のポリシー勾配法や強化学習手法と比較して、アンサンブル Gumbel-Softmax はアーキテクチャ探索をどのように改善するか？
• RQ3 提案手法は、画像分類や言語モデリングといった異なるタスクに一般化可能か？
• RQ4 サンプリング回数 M の増加が探索性能およびモデル精度に与える影響は何か？
• RQ5 発見されたアーキテクチャは、トランスファー能力を示し、下流タスクにおいても良好に一般化できるか？

主な発見

• CIFAR-10 では、DARTS-EGS がテスト誤差 2.86% を達成し、DARTS（3.01%）を上回り、新たな最先端性能を樹立した。
• ImageNet では、DARTS-EGS がトップ-1誤差 23.5% を達成し、DARTS（24.0%）を上回り、大規模分類タスクにおいても優れた性能を示した。
• PTB における言語モデリングでは、DARTS-EGS がパープレキシティ 59.3 を達成し、DARTS（61.1）を上回り、再帰型アーキテクチャ探索における有効性を示した。
• VOC-2012 におけるセマンティックセグメンテーションでは、DARTS-EGS が mIoU 76.8% を達成し、DARTS（75.4%）を +1.4% 上回り、複雑なタスクにおいても優れた性能を示した。
• 実験から、サンプリング回数 M を増やすことで性能が向上することが確認され、より豊かな探索空間の利点が裏付けられた。
• 画像および言語タスクの両方でトランスファー能力が保持されており、PTB や WT2 といったデータセットにおいて一貫した性能向上が得られた。