[論文レビュー] NeuNetS: An Automated Synthesis Engine for Neural Network Design

Atin Sood, Benjamin Elder+18 more|arXiv (Cornell University)|Jan 17, 2019

Advanced Neural Network Applications参考文献 76被引用数 6

ひとこと要約

NeuNetS は、2段階のプロセスである粗粒度のアーキテクチャ探索と微粒度のレイヤー最適化を用いて、画像およびテキストタスク向けにカスタムで高精度なニューラルネットワークを数時間で設計する自動化されたニューラルネットワーク合成エンジンです。人的な熟練を大幅に削減し、人間と同等の性能を達成するため、最小限の人的介入で迅速かつスケーラブルなAIモデル開発が可能になります。

ABSTRACT

Application of neural networks to a vast variety of practical applications is transforming the way AI is applied in practice. Pre-trained neural network models available through APIs or capability to custom train pre-built neural network architectures with customer data has made the consumption of AI by developers much simpler and resulted in broad adoption of these complex AI models. While prebuilt network models exist for certain scenarios, to try and meet the constraints that are unique to each application, AI teams need to think about developing custom neural network architectures that can meet the tradeoff between accuracy and memory footprint to achieve the tight constraints of their unique use-cases. However, only a small proportion of data science teams have the skills and experience needed to create a neural network from scratch, and the demand far exceeds the supply. In this paper, we present NeuNetS : An automated Neural Network Synthesis engine for custom neural network design that is available as part of IBM's AI OpenScale's product. NeuNetS is available for both Text and Image domains and can build neural networks for specific tasks in a fraction of the time it takes today with human effort, and with accuracy similar to that of human-designed AI models.

研究の動機と目的

• 独自のアプリケーション制約（精度やメモリ使用量など）に適合したカスタムニューラルネットワークの需要を満たすため。
• 高度なデータサイエンティストのスキル依存を減らし、ニューラルネットワークアーキテクチャの設計を自動化するため。
• AIモデル開発を数週間または数か月から数時間に短縮し、カスタムAIの開発をより迅速かつスケーラブルに実現するため。
• データサイエンスチームがアーキテクチャ設計ではなく、モデルの微調整に集中できるようにし、生産性とコスト効率を向上させるため。

提案手法

• NeuNetS は2段階の合成プロセスを採用：粗粒度の合成により、深さ、接続性、レイヤー種別を含む全体的なネットワークアーキテクチャを決定する。
• 微粒度の合成により、最適な畳み込みフィルタの選択と重み分布の類似性に基づく不要な接続のプルーニングによって、個々のニューロンと接続を最適化する。
• 高精度な性能推定技術により、完全な学習を実施せずにモデルの精度を正確に予測可能にし、時間のかかる学習ループを回避する。
• ニューラルネットワークのプルーニングにより、各ニューロンが N 個の重要な入力接続を保持するようにし、類似した重み変数を k 個のバケットに統合してモデルサイズを削減する。
• プルーニングおよび統合後に重み変数を再初期化し、出力動作を維持した後、早期停止まで学習を実行する。
• データセットサイズに基づくGPU予算割り当て戦略を採用し、検索および学習に合計して低（2h）、中（5h）、高（16h）の3段階の予算を設定する。

実験結果

リサーチクエスチョン

• RQ1 自動化されたシステムは、人間が設計したモデルと同等の精度を、その数十分の1の時間で達成できるか？
• RQ2 粗粒度のアーキテクチャ探索とその後の微粒度のレイヤー最適化からなる2段階の合成アプローチは、モデルサイズの縮小と効率の向上にどの程度効果的か？
• RQ3 高精度な性能推定は、ニューラルアーキテクチャ探索の段階で完全な学習を代替できるか、その程度は？
• RQ4 自動化されたニューラルネットワーク合成は、画像分類やテキスト分類など多様な分野に効果的に適用可能か？
• RQ5 プルーニング、統合、再初期化の統合は、精度を損なわずにモデル効率をどのように向上させるか？

主な発見

• NeuNetS は、MNIST で 0.64% の誤差、SVHN で 3.37% の誤差を記録する12の画像分類ベンチマークで、SOTA または競争力のある精度を達成。16 GPU 時間以内に完了。
• テキスト分類タスクでは、Snips で 0.00% の誤差、SMS Spam で 0.54% の誤差を達成し、小規模データセットでも高い性能を示した。
• モデル開発時間は、最大で16時間のGPU予算で、数週間または数か月から数時間に短縮された。
• 1万件までのデータセットに対しては、2時間のGPU予算内で動作し、多様なタスクで高い精度を維持した。
• プルーニング、重みの統合、再初期化の組み合わせにより、モデルの出力動作を保持しながらパラメータ数を削減し、効率を向上させた。
• NeuNetS は、高精度な性能推定を用いた自動アーキテクチャ探索が、人間が設計したモデルと同等の精度を達成でき、手動チューニングの必要性を顕著に削減できることを示した。