[論文レビュー] Resource-Efficient Neural Architect

Yanqi Zhou, Siavash Ebrahimi+4 more|arXiv (Cornell University)|Jun 12, 2018

Multimodal Machine Learning Applications被引用数 29

ひとこと要約

RENA は、ネットワーク埋め込みを用いてリソース制約下のニューラルアーキテクチャを効率的に探索する強化学習ベースのニューラルアーキテクチャ探索フレームワークである。モデルサイズ（300万パラメータ未満）および計算強度（1バイトあたり100 FLOPs以上）の厳しい制約下でも、CIFAR-10（2.95％のテスト誤差）およびGoogle Speech Commands（93.65％の精度）で最先端の性能を達成しており、サンプル効率的でハードウェアに配慮したNASを実現している。

ABSTRACT

Neural Architecture Search (NAS) is a laborious process. Prior work on automated NAS targets mainly on improving accuracy, but lacks consideration of computational resource use. We propose the Resource-Efficient Neural Architect (RENA), an efficient resource-constrained NAS using reinforcement learning with network embedding. RENA uses a policy network to process the network embeddings to generate new configurations. We demonstrate RENA on image recognition and keyword spotting (KWS) problems. RENA can find novel architectures that achieve high performance even with tight resource constraints. For CIFAR10, it achieves 2.95% test error when compute intensity is greater than 100 FLOPs/byte, and 3.87% test error when model size is less than 3M parameters. For Google Speech Commands Dataset, RENA achieves the state-of-the-art accuracy without resource constraints, and it outperforms the optimized architectures with tight resource constraints.

研究の動機と目的

• 計算リソース効率性を無視する傾向にあるニューラルアーキテクチャ探索（NAS）におけるギャップを埋める。
• モデルサイズ、計算複雑性、計算強度といった厳しいハードウェア制約下でも高性能なモデルを自動生成するNASフレームワークを開発する。
• ネットワーク埋め込みとポリシー勾配を活用して、最小限のトレーニングイテレーションでアーキテクチャ探索をガイドすることで、サンプル効率的な探索を実現する。
• 解釈可能なハードウェアメトリクスを報酬関数に統合し、エッジデバイスでの実際の展開要件と整合するNASの結果を得る。

提案手法

• 構造的および操作的特性を捉えるために、学習済みのLSTMベースのエンコーダーを用いてニューラルネットワークアーキテクチャを埋め込み表現として表現する。
• 離散的アクション（挿入、削除、スケーリング）をネットワーク埋め込みに適用することで、ポリシーネットワークが新しいアーキテクチャを生成する。
• モデルサイズ、FLOPs、計算強度のリソース制約違反をペナルティ化する報酬関数を変更し、ハードウェア効率性を直接最適化可能にする。
• 経験再生とエピソードごとのバッチ更新を用い、10個の子モデルからなるエピソードでAdam最適化を用いてコントローラーを強化学習で訓練する。
• ランダムまたは無差別な探索を避けるために、小さなベースラインアーキテクチャから出発し、段階的に改善を加える。
• 事前に定義されたレイヤー種別とハイパーパrameterを備えた共有探索空間を用いることで、体系的かつ解釈可能なアーキテクチャ探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのNASフレームワークは、モデルサイズおよび計算強度の厳しい制約下でも、高精度なニューラルアーキテクチャを効率的に発見できるか？
• RQ2 ランダム探索や全探索と比較して、ネットワーク埋め込みは、どれほどサンプル効率的なアーキテクチャ探索を可能にするか？
• RQ3 報酬関数を、FLOPs/バイト、パラメータ数などの解釈可能なハードウェアメトリクスに適合させることで、実用的で展開可能なモデルへの探索をどれほど効果的に導けるか？
• RQ4 特にエッジデバイスにおいて、手作業で最適化されたアーキテクチャを凌駕できるか？
• RQ5 実際のタスクにおいて、サイズ制限のみ、計算強度制限のみ、または両方の制約を組み合わせた場合の、探索性能にどのような差が生じるか？

主な発見

• CIFAR-10では、計算強度が100 FLOPs/バイトを超える制約下で2.95％のテスト誤差を達成し、モデルサイズが300万パラメータ未満の制約下では3.87％の誤差を記録しており、厳しい制約下でも優れた性能を示している。
• Google Speech Commandsデータセットにおけるキーワードスプライティングタスクでは、モデルサイズが0.1Mパラメータ未満かつ計算強度が10 FLOPs/バイトを超える条件下で93.65％のテスト精度を達成し、手作業最適化されたベースラインを上回った。
• 制約なし条件下で95.81％の精度を達成する最先端のモデルを発見した。このモデルは深度分離畳み込みとGRUを活用しており、人間が設計したモデルと同等またはそれを上回る能力を確認した。
• CIFAR-10では、合計500個のモデルを探索した段階で95％以上の精度を達成しており、ランダム探索や標準的なNASアプローチと比較して極めて高いサンプル効率を示している。
• サイズと計算強度の両方の制約が課せられた場合、2次元畳み込み層が大規模なチャネル数を有するアーキテクチャが優勢となり、ハードウェア効率性の目標と整合的である。
• 制約違反をペナルティ化するように変更された報酬関数を用いることで、制約を満たす実用的で展開可能なアーキテクチャの有効な探索が可能になった。これに対して、ランダム探索では400回の試行内に二重制約を満たすアーキテクチャに到達できなかった。