[論文レビュー] ModuleNet: Knowledge-inherited Neural Architecture Search

Yaran Chen, Ruiyuan Gao+2 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 31被引用数 6

ひとこと要約

ModuleNetは、事前学習済み畳み込みニューラルネットワーク（CNN）を重みを保持したモジュールに分解して知識ベースを構築する、知識継承型ニューラルアーキテクチャ探索（NAS）フレームワークを提案する。これにより、畳み込み重みの再学習を伴わずにNSGA-IIを用いた効率的なアーキテクチャ探索が可能になる。これらのモジュールを再組合せることで、オリジナルのアーキテクチャに比べてCIFAR-10およびCIFAR-100で優れた性能を達成し、継承されたアーキテクチャ的・パラメータ的知識が探索の効率性と正確性を顕著に向上させることを示している。

ABSTRACT

Although Neural Architecture Search (NAS) can bring improvement to deep models, they always neglect precious knowledge of existing models. The computation and time costing property in NAS also means that we should not start from scratch to search, but make every attempt to reuse the existing knowledge. In this paper, we discuss what kind of knowledge in a model can and should be used for new architecture design. Then, we propose a new NAS algorithm, namely ModuleNet, which can fully inherit knowledge from existing convolutional neural networks. To make full use of existing models, we decompose existing models into different extit{module}s which also keep their weights, consisting of a knowledge base. Then we sample and search for new architecture according to the knowledge base. Unlike previous search algorithms, and benefiting from inherited knowledge, our method is able to directly search for architectures in the macro space by NSGA-II algorithm without tuning parameters in these extit{module}s. Experiments show that our strategy can efficiently evaluate the performance of new architecture even without tuning weights in convolutional layers. With the help of knowledge we inherited, our search results can always achieve better performance on various datasets (CIFAR10, CIFAR100) over original architectures.

研究の動機と目的

• 既存のニューラルアーキテクチャ探索（NAS）手法がゼロから開始するための非効率性と知識の浪費を是正すること。
• 既存のモデルアーキテクチャと学習済みパラメータが、NASの効率性と性能を向上させるために体系的に再利用可能かどうかを調査すること。
• 事前学習済みモデルからのアーキテクチャ的およびパラメータ的知識を保存し、直接再組合せ可能なNASフレームワークを開発すること。
• 畳み込み層の重みをチューニングせずに、性能維持のための非パラメータ接続の有効性を評価すること。
• 知識継承型探索が標準NASに比べて正確性と収束速度の両面で優れていることを実証すること。

提案手法

• 事前学習済みCNNを再利用可能なモジュールに分解し、学習済み重みを保持することで知識ベースを構築する。
• NSGA-IIを多目的進化的アルゴリズムとして用い、畳み込み層パラメータのチューニングを伴わずにモジュールを再組合せることで最適アーキテクチャを探索する。
• クロスオーバーや変異操作を用いてモジュールを再配置することで新規アーキテクチャを構築し、元の重みを維持することで知識を継承する。
• パラメータを必要としない接続をモジュール間で実装し、トレーニング可能なパラメータ数を削減するとともに探索を高速化し、1×1畳み込みを回避する。
• 微調整なしで性能を反映するスコア式を用いて候補アーキテクチャを評価し、継承された知識に依存する。
• 世代間のゲノタイプ変化をモニタリングすることで、探索の安定性と収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNアーキテクチャとその学習済みパラメータは、NASの効率性と性能向上のために効果的に再利用可能か？
• RQ2 モジュール分解による知識継承は、NASアルゴリズムの探索空間と収束にどのように影響するか？
• RQ3 NAS中において、パラメータ付き接続と比較して、非パラメータ接続は性能を維持または向上できるか？
• RQ4 提案手法の知識継承型探索は、標準NASに比べて正確性と探索コストの両面でどの程度優れているか？
• RQ5 モジュールベースのアーキテクチャ探索に応用したNSGA-IIベースの探索戦略は、安定的かつスケーラブルか？

主な発見

• ModuleNetは、継承元のオリジナルアーキテクチャに比べてCIFAR-10およびCIFAR-100で優れた性能を達成しており、知識再利用の有効性を示している。
• 非パラメータ接続の使用により、性能差が明確に現れ、特に優れたアーキテクチャで顕著な向上が得られ、1×1畳み込みベースの接続を上回る結果を示している。
• 世代間のゲノタイプ変化が数回の反復後に安定化するため、NSGA-IIアルゴリズムがモジュールベースの探索空間で収束していることが示された。
• 提案されたスコア式により、微調整なしで正確な性能評価が可能であり、知識継承型NASにおける信頼性を裏付けた。
• 探索プロセスは効率的かつスケーラブルであり、アーキテクチャ評価時に畳み込み層の再学習が不要であることを確認した。
• 結果から、既存モデルからのアーキテクチャ的およびパラメータ的知識がNASの成果を顕著に向上させることを確認した。