[論文レビュー] MANAS: Multi-Agent Neural Architecture Search

Lopes, Vasco, Fabio Maria Carlucci+7 more|arXiv (Cornell University)|Sep 3, 2019

Reinforcement Learning in Robotics参考文献 35被引用数 19

ひとこと要約

MANASは、神経ネットワークアーキテクチャ探索（NAS）のためのマルチエージェント強化学習フレームワークを提案する。このフレームワークは、独立したエージェントがネットワークの部分集合を最適化することで、探索空間を分解する。報酬割り当てとオンライン学習理論を活用し、DARTSと比較してメモリ使用量の1/8、探索時間の70%で、CIFAR-10およびImageNetで最先端の精度を達成する。さらに、ImageNetのような大規模データセットへの直接探索を可能にする。

ABSTRACT

The Neural Architecture Search (NAS) problem is typically formulated as a graph search problem where the goal is to learn the optimal operations over edges in order to maximise a graph-level global objective. Due to the large architecture parameter space, efficiency is a key bottleneck preventing NAS from its practical use. In this paper, we address the issue by framing NAS as a multi-agent problem where agents control a subset of the network and coordinate to reach optimal architectures. We provide two distinct lightweight implementations, with reduced memory requirements (1/8th of state-of-the-art), and performances above those of much more computationally expensive methods. Theoretically, we demonstrate vanishing regrets of the form O(sqrt(T)), with T being the total number of rounds. Finally, aware that random search is an, often ignored, effective baseline we perform additional experiments on 3 alternative datasets and 2 network configurations, and achieve favourable results in comparison.

研究の動機と目的

• 既存のNAS手法の高い計算コストとメモリ使用量、特にImageNetのような大規模設定における課題に対処すること。
• 共同アーキテクチャ最適化における探索空間の組み合わせ的爆発を回避するため、複数のエージェントに制御を分散させること。
• 探索と活用のトレードオフを効率的に行うために、理論的裏付けがあり、レギュラリティが消失する保証のあるフレームワークを提供すること。
• プロキシモデルや重み共有の近似を用いずに、最終アーキテクチャに対する直接探索を可能にすること。
• 公平な評価プロトコルのもとで、強力なベースライン（ランダムサーチおよびランダムサンプリング）と比較して、MANASの実験的妥当性を検証すること。

提案手法

• 各エージェントはネットワークの局所的部分（例：1つのセル）を制御し、エージェントごとの探索空間を定数サイズに制限する。
• 明示的な協調行動なしに、操作の品質に対する報酬割り当てを可能にするため、共同損失関数を通じて間接的に協調する。
• 報酬割り当ては、各操作が全体の損失に与える寄与度を推定する学習済み価値関数を用いて実行される。
• 2つの軽量実装が提案される：1つはUCBに基づく探索を有するマルチアームドバンディット、もう1つは連続的リラクゼーションを用いた勾配ベース最適化。
• 損失関数に制約（例：推論時間、ハイパーパrameter λを介して）を組み込むことで、多目的探索をサポートする。
• 理論的分析により、オンライン学習条件下で最適アーキテクチャへの収束を保証する、𝒪(√T)のオーダーでのレギュラリティの消失が示される。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントフレームワークは、メモリと計算量を削減しながら性能を維持または向上させるために、NASの探索空間を効果的に分解できるか？
• RQ2 提示された報酬割り当てメカニズムは、明示的な通信や集中型のクライアントを用いずに、エージェント間の効率的協調を可能にするか？
• RQ3 MANASは、DARTSのような最先端手法と比較して、顕著に低いメモリ使用量と短い探索時間で、CIFAR-10およびImageNetで最先端の精度を達成できるか？
• RQ4 トレーニングのテクニックのバイアスを排除する公平な評価プロトコルのもとで、MANASはランダムサーチおよびランダムサンプリングと比較してどの程度の性能を示すか？
• RQ5 損失関数の修正により、精度と推論時間のバランスを取る多目的NASにMANASを拡張できるか？

主な発見

• MANASは、同じ評価プロトコルのもとで、CIFAR-10で97.3%のトップ1精度、ImageNetで23.5%のトップ1誤差を達成し、DARTSを上回る性能を示した。
• DARTSと比較して、メモリ消費量を1/8に削減し、探索時間も70%にまで短縮した。これは顕著な効率性の向上を示している。
• MANASは、DARTS や ProxylessNAS が小規模な探索に依存するのに対し、プロキシモデルを用いずにImageNetに対する直接探索を可能にした。
• 複雑さの制約がある3つの追加データセットにおいても、MANASは競争力のある性能を維持し、多様な設定における頑健性を確認した。
• フレームワークは、精度と推論時間のバランスを効果的にとれた：λを増加させることで、推論時間を最大30%まで短縮し、精度の低下は最小限に抑えられた。これは効果的な多目的最適化を示している。
• 実験的結果により、ランダムサーチおよびサンプリングが強力なベースラインであることが確認されたが、MANASは計算リソースが限られた状況でも依然としてそれらを上回った。