[論文レビュー] Resource Constrained Neural Network Architecture Search: Will a Submodularity Assumption Help?

Yunyang Xiong, Ronak Mehta+1 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Neural Network Applications参考文献 41被引用数 4

ひとこと要約

本論文は、リソース制約下でのニューラルアーキテクチャサーチ（NAS）のためのサブモジュラリティにインspiredされたヒューリスティクスを提案する。アーキテクチャ探索を再利用可能なブロックのセット関数の最適化として定式化し、FLOPsおよびパラメータ制約下でのグリーディなサブモジュラ最適化を活用することで、CIFAR-100およびImageNetで効率的で高精度なモデルを同定する。従来の強化学習ベースの手法と比較して、最大3倍少ないパラメータと300倍少ない計算量で最先端の性能を達成する。

ABSTRACT

The design of neural network architectures is frequently either based on human expertise using trial/error and empirical feedback or tackled via large scale reinforcement learning strategies performed over distinct discrete architecture choices. In the latter case, the optimization is often non-differentiable and also not very amenable to derivative-free optimization methods. Most methods in use today require sizable computational resources. And if we want networks that additionally satisfy resource constraints, the above challenges are exacerbated because the search must now balance accuracy with certain budget constraints on resources. We formulate this problem as the optimization of a set function -- we find that the empirical behavior of this set function often (but not always) satisfies marginal gain and monotonicity principles -- properties central to the idea of submodularity. Based on this observation, we adapt algorithms within discrete optimization to obtain heuristic schemes for neural network architecture search, where we have resource constraints on the architecture. This simple scheme when applied on CIFAR-100 and ImageNet, identifies resource-constrained architectures with quantifiably better performance than current state-of-the-art models designed for mobile devices. Specifically, we find high-performing architectures with fewer parameters and computations by a search method that is much faster.

研究の動機と目的

• 従来のニューラルアーキテクチャサーチ（NAS）手法における高い計算コストとリソースに配慮しない点を是正すること。
• ユーザーが定義するモデルサイズおよびFLOPsの制約を尊重する、スケーラブルで微分可能かつ効率的なNASフレームワークの開発。
• 非サブモジュラな精度関数であるにもかかわらず、サブモジュラ最適化の原則が効果的なアーキテクチャサーチを導けるかどうかの検証。
• 精度、パラメータ数、推論効率のバランスを取った、モバイル対応の高性能なニューラルアーキテクチャの同定。

提案手法

• 再利用可能な機能的ブロックのセット関数としてアーキテクチャ探索を定式化し、各ブロック選択が最終モデルの精度とリソースコストに寄与する。
• 実験的に、精度関数が減少収益と単調性の性質を示すことを観察し、サブモジュラリティの重要な性質に類似しているため、サブモジュラ最適化のヒューリスティクスを適用可能である。
• サブモジュラ最適化から得られる性能保証を有するグリーディアルゴリズムを改変し、FLOPsおよびパラメータ制約下での効率的アーキテクチャサーチを実現。
• 候補アーキテクチャの評価を高速化するため、早期停止と重み共有を活用。
• 小規模なデータセットでの事前学習を経ずに、ImageNet上で直接探索を実施し、大規模ベンチマークへの転送性を確保。
• 実際のモバイルデバイスでの推論遅延を測定するため、最終モデルをCoreMLでデプロイ。

実験結果

リサーチクエスチョン

• RQ1 厳密なリソース制約下で、サブモジュラ最適化のヒューリスティクスがニューラルアーキテクチャサーチを効果的に導けるか？
• RQ2 数学的にサブモジュラでないにもかかわらず、ニューラルアーキテクチャ精度関数の実験的 marginal gain 構造がサブモジュラ性に類似しているか？
• RQ3 グリーディなサブモジュラにインspiredされた探索が、従来の強化学習や進化的NAS手法よりも優れた精度-効率トレードオフを達成できるか？
• RQ4 ImageNet上で探索されたモデルが、MobileNetV2のような手作業で設計されたモバイルネットワークと同等の性能を達成できるか？

主な発見

• CIFAR-100では、本手法RCASが340万パラメータ、2億9400万FLOPsのモデルを同定し、72.2％のトップ-1精度を達成。同程度の制約下でMobileNetV2を0.2％上回る。
• ImageNetでは、RCNetが470万パラメータ、4億7100万FLOPsで74.7％のトップ-1精度を達成。同等の計算予算下でDARTSを1.6％、DPP-Net-Panacaを0.7％上回る。
• RCNetモデルは、iPhone 5sで183.5msの推論速度を達成し、MobileNetV2（197.2ms）と同等の速度を実現。モデルサイズは14.6MB（MobileNetV2：14.7MB）で、ほぼ同等。
• 探索プロセスはImageNetでたった8GPU日で完了し、従来の強化学習ベースのNAS手法（例：DARTS）が約3150GPU日を要するのに対し、300倍の削減。
• 最終アーキテクチャは、[5,1,4,5,1,5,2,4,1,6,4,6,5,3,3,6,3,6] などの多様なブロックタイプを組み合わせており、繰り返しのブロックパターンよりも性能が向上することを示唆。
• 転送性が実証された：CIFAR-100で事前学習したモデルをImageNetで微調整した場合、同程度の複雑さでMobileNetV2と同等の性能を達成。