[論文レビュー] Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation

Chunnan Wang, Hongzhi Wang+2 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 35被引用数 4

ひとこと要約

この論文では、MoARRを提案する。MoARRは、事前に発見された高性能なセル構造を活用することで、多様で柔軟なネットワークアーキテクチャを実現するとともに、探索空間を縮小する、マルチオブジェクティブなニューラルアーキテクチャサーチ手法である。歴史的な評価データから逆推薦モデル（RRModel）を適応的に学習することで、MoARRは高い正確性と低いパラメータ数を持つパレート最適なアーキテクチャを、1.9%の誤差率と230万パラメータで、わずか6 GPU時間で特定する。これは、最先端の手法を上回る結果である。

ABSTRACT

The search space of neural architecture search (NAS) for convolutional neural network (CNN) is huge. To reduce searching cost, most NAS algorithms use fixed outer network level structure, and search the repeatable cell structure only. Such kind of fixed architecture performs well when enough cells and channels are used. However, when the architecture becomes more lightweight, the performance decreases significantly. To obtain better lightweight architectures, more flexible and diversified neural architectures are in demand, and more efficient methods should be designed for larger search space. Motivated by this, we propose MoARR algorithm, which utilizes the existing research results and historical information to quickly find architectures that are both lightweight and accurate. We use the discovered high-performance cells to construct network architectures. This method increases the network architecture diversity while also reduces the search space of cell structure design. In addition, we designs a novel multi-objective method to effectively analyze the historical evaluation information, so as to efficiently search for the Pareto optimal architectures with high accuracy and small parameter number. Experimental results show that our MoARR can achieve a powerful and lightweight model (with 1.9% error rate and 2.3M parameters) on CIFAR-10 in 6 GPU hours, which is better than the state-of-the-arts. The explored architecture is transferable to ImageNet and achieves 76.0% top-1 accuracy with 4.9M parameters.

研究の動機と目的

• NASにおける固定された外部ネットワーク構造の制限を解消し、モデルを軽量化した場合の性能低下を是正すること。
• 大規模で複雑な探索空間において、探索コストを低減するとともに、アーキテクチャの多様性と柔軟性を向上させること。
• 軽量CNN向けに、正確性とパラメータ数のバランスを取る効率的なマルチオブジェクティブ最適化手法を開発すること。
• 既存の高性能なセル構造を活用することで、探索を加速し、モデル品質を向上させること。
• 歴史的な評価データから学習する動的推薦メカニズムを設計し、将来のアーキテクチャ選択をガイドすること。

提案手法

• 本手法は、過去のNAS研究で得られた高性能で事前に発見されたセル構造を再利用することで、柔軟なネットワークアーキテクチャを構築する。
• 本手法は、歴史的な評価データを用いて逆推薦モデル（RRModel）を学習する、新しいマルチオブジェクティブ最適化アルゴリズムであるMoARRを導入する。
• RRModelは、アーキテクチャ符号化、正確性、パラメータ数の関係をモデル化することで、より高い正確性と低いパラメータ数を持つアーキテクチャを適応的に推薦する。
• MoARRは、繰り返し推奨されたアーキテクチャを評価し、各新しいフィードバックをもとにRRModelを段階的に改善することで、時間の経過とともに推薦品質を向上させる。
• 本手法は、性能が悪いアーキテクチャの無駄な評価を回避することで、パレート最適な解への収束を加速する。
• 本手法は、特に評価コストが高額なマルチオブジェクティブNAS問題に適しており、効率的かつスケーラブルに設計されている。

実験結果

リサーチクエスチョン

• RQ1 高性能で事前に発見されたセル構造の再利用は、ニューラルアーキテクチャサーチにおける探索空間を顕著に縮小し、効率を向上させることができるか？
• RQ2 歴史的な評価データを効果的に活用することで、高い正確性と低いパラメータ数を持つパレート最適なアーキテクチャへの探索をどのようにガイドできるか？
• RQ3 評価コストが高額なNASにおいて、適応的逆推薦モデルは、従来のマルチオブジェクティブ最適化手法を上回ることができるか？
• RQ4 さまざまなセルのスタッキングによるアーキテクチャの多様性は、軽量な環境下でのモデル性能にどの程度寄与するか？
• RQ5 提案手法は、CIFAR-10 や ImageNet といったベンチマークデータセットで、最小限の計算リソースで最先端の性能を達成できるか？

主な発見

• MoARRは、CIFAR-10でわずか230万パラメータで1.9%の誤差率を達成し、既存の最先端手法を上回った。
• 探索プロセスにはたった6 GPU時間で完了し、従来のアプローチと比較して著しく訓練コストを低減した。
• 発見されたアーキテクチャはImageNetへもうまく転送され、490万パラメータでトップ-1正確度76.0%を達成した。
• 歴史的データに基づく逆推薦モデルの活用により、無効な評価回数が削減され、探索の効率が向上した。
• 本手法は、アーキテクチャの多様性とデータ駆動型の適応的推薦を組み合わせることで、優れた性能を示した。
• 本手法はCNNにとどまらず、GNN や RNN などの他のニューラルネットワークタイプへも拡張可能である。