[論文レビュー] Practical Block-wise Neural Network Architecture Generation

Zhao Zhong, Junjie Yan+3 more|arXiv (Cornell University)|Aug 18, 2017

Advanced Neural Network Applications参考文献 43被引用数 20

ひとこと要約

本論文では、CIFAR-10で3.54%のトップ1誤差率を達成する、自動的でブロック単位のニューラルネットワークアーキテクチャ生成を実現するQ学習ベースのフレームワークBlockQNNを提案する。エージェントが段階的に最適なブロック部品を選択し、早期停止と分散学習を用いることで、探索空間と計算コストを削減。32のGPUを用いて3日間で収束を達成し、ImageNetへの高い汎化性を示している。

ABSTRACT

Convolutional neural networks have gained a remarkable success in computer vision. However, most usable network architectures are hand-crafted and usually require expertise and elaborate design. In this paper, we provide a block-wise network generation pipeline called BlockQNN which automatically builds high-performance networks using the Q-Learning paradigm with epsilon-greedy exploration strategy. The optimal network block is constructed by the learning agent which is trained sequentially to choose component layers. We stack the block to construct the whole auto-generated network. To accelerate the generation process, we also propose a distributed asynchronous framework and an early stop strategy. The block-wise generation brings unique advantages: (1) it performs competitive results in comparison to the hand-crafted state-of-the-art networks on image classification, additionally, the best network generated by BlockQNN achieves 3.54% top-1 error rate on CIFAR-10 which beats all existing auto-generate networks. (2) in the meanwhile, it offers tremendous reduction of the search space in designing networks which only spends 3 days with 32 GPUs, and (3) moreover, it has strong generalizability that the network built on CIFAR also performs well on a larger-scale ImageNet dataset.

研究の動機と目的

• 高性能な畳み込みニューラルネットワークを手動で設計する際の高い計算コストと複雑さに対処すること。
• 層ごとのアーキテクチャ生成ではなくブロック単位の生成に焦点を当てることで、ニューラルアーキテクチャサーチの探索空間を縮小すること。
• 自動的で効率的かつスケーラブルで一般化可能なニューラルネットワークアーキテクチャ生成手法を開発すること。
• CIFAR-100やImageNetのような異なるデータセット間で、生成されたネットワークの高速収束性と汎化性を実現すること。

提案手法

• 経験再生とイプシロン-グリーディ探索を用いたQ学習エージェントが、1つのネットワークブロック用の最適なコンポonentレイヤーを段階的に選択するように訓練される。
• 最適なブロックは強化学習を通じて生成され、初期停止性能と収束モデルの精度の相関を捉えるカスタム報酬関数が使用される。
• 早期停止戦略により、高パフォーマンスなブロックを早期に特定し、合計の訓練時間を短縮する。
• 分散非同期フレームワークにより、32のGPUにわたる効率的なスケーリングが可能となり、探索時間の大幅な短縮が達成される。
• 最終的なネットワークは、生成された最適なブロックをスタックすることで構築され、モジュラーかつ一般化可能なアーキテクチャ設計が可能になる。
• 本手法は、適応的なブロック数とパラメータ制約をサポートしており、効率性とモデルのコンパクトさの向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位のニューラルアーキテクチャサーチフレームワークは、著しく低い計算コストでSOTAのパフォーマンスを達成できるか？
• RQ2 早期停止を組み合わせたQ学習は、高パフォーマンスなネットワークブロックの発見をどれほど加速できるか？
• RQ3 CIFAR-10用に自動生成されたネットワークが、ImageNetのような大規模データセットへどの程度汎化できるか？
• RQ4 提案手法は、ランダムサーチおよび既存のNASアプローチに比べ、精度と探索効率の両面で優れているか？

主な発見

• BlockQNNはCIFAR-10で3.54%のトップ1誤差率を達成し、既存のすべての自動生成ネットワークを上回っている。
• 32のGPUを用いて3日間で収束を達成したのに対し、NASでは800のGPUを用いて28日間を要したため、顕著な効率性の向上が示された。
• BlockQNNが生成した最良のモデルは、同等の訓練イテレーション後、CIFAR-100でランダムサーチを1%以上上回るトップ5精度を達成した。
• パラメータ制約とブロック数制約を設けたBlockQNN-Lでさえ、実行フェーズにおいてランダムサーチベースラインを1%以上上回った。
• MPIIで人物キーポイント検出用に自動生成されたネットワークは、COCOで70.5 APを達成し、SOTAのhourglass-2-stacksモデル（70.1 AP）を上回った。
• 進化的プロセスの結果、BlockQNNはスキップ接続や連結を含む複雑なマルチブランチ構造を学習して生成しており、一般化可能な設計原則の有効な学習を示している。