[論文レビュー] Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search

Xiangxiang Chu, Bo Zhang+2 more|arXiv (Cornell University)|Jan 4, 2019

Advanced Vision and Imaging参考文献 39被引用数 38

ひとこと要約

MoreMNAS は多目的進化的探索と強化制御を組み合わせてモバイルニューラルネットワークを設計し、FLOPSが少ないまま競争力のあるSRモデルを実現する。

ABSTRACT

Fabricating neural models for a wide range of mobile devices demands for a specific design of networks due to highly constrained resources. Both evolution algorithms (EA) and reinforced learning methods (RL) have been dedicated to solve neural architecture search problems. However, these combinations usually concentrate on a single objective such as the error rate of image classification. They also fail to harness the very benefits from both sides. In this paper, we present a new multi-objective oriented algorithm called MoreMNAS (Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search) by leveraging good virtues from both EA and RL. In particular, we incorporate a variant of multi-objective genetic algorithm NSGA-II, in which the search space is composed of various cells so that crossovers and mutations can be performed at the cell level. Moreover, reinforced control is mixed with a natural mutating process to regulate arbitrary mutation, maintaining a delicate balance between exploration and exploitation. Therefore, not only does our method prevent the searched models from degrading during the evolution process, but it also makes better use of learned knowledge. Our experiments conducted in Super-resolution domain (SR) deliver rivalling models compared to some state-of-the-art methods with fewer FLOPS.

研究の動機と目的

• 高度に制約されたモバイルデバイスに対して、精度だけでなく複数の目的を考慮したニューラルアーキテクチャ探索を促進する。
• 探索効率とモデル品質を向上させるために、進化演算子と強化学習を組み合わせたハイブリッドアルゴリズムを提案する。
• 学習された知識を保持しつつ多様なアーキテクチャを探索するために、セル間の突然変異と交叉を可能にする。
• 進化過程で性能低下を防ぐために、探索と活用のバランスを取る。
• リソース効率の良いモデルを用いた超解像領域で有効性を示す。

提案手法

• NSGA-II の一変種を使用し、探索空間をセルレベルの交叉と突變を可能にするセルで構成する。
• 変異を調整する自然な突然変化プロセスを伴う強化制御を組み込む。
• 進化的探索と強化信号を組み合わせ、選択と変異を多目的な結果へと導く。
• 品質を維持しつつ FLOPS を削減することに焦点を当て、モバイルニューラルアーキテクチャに本手法を適用する。
• 効率と性能の観点から最先端法と比較するため、超解像タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、MoreMNAS はモバイルネットワークの低 FLOPS でも競争力のある精度または知覚品質を達成できるか。
• RQ2 多目的進化探索と強化制御の統合は、収束と有用なアーキテクチャの保持を改善するか。
• RQ3 セルレベルの遺伝子演算子はモバイル NAS におけるアーキテクチャ空間探索にどう影響するか。
• RQ4 提案手法が知識再利用と進化中の劣化防止に与える影響は何か。

主な発見

• MoreMNAS は超解像領域で最先端法に対抗するモデルを、より少ない FLOPS で提供する。
• セルレベルの交叉/変異と強化制御を活用し、探索と活用のバランスを取る。
• 進化過程で探索されたモデルの劣化を防ぎ、学習した知識の再利用を促進する。