[論文レビュー] Automatic Configuration of Deep Neural Networks with EGO

Bas van Stein, Hao Wang+1 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Neural Network Applications参考文献 23被引用数 8

ひとこと要約

本論文は、完全に設定可能なすべて畳み込みネットワーク（All-CNN）設計を用いて、畳み込みニューラルネットワーク（CNN）アーキテクチャを自動的に設定するための並列効率的グローバル最適化（EGO）フレームワークを提案する。複数のアーキテクチャを並列で評価し、ハイパーパramータとレイヤー構成のみを最適化することで、MNISTおよびCIFAR-10で最先端の精度を達成した。訓練に10〜50エポック、評価回数もたった200回で実現し、データ拡張なしの手作業で設計されたモデルを上回った。

ABSTRACT

Designing the architecture for an artificial neural network is a cumbersome task because of the numerous parameters to configure, including activation functions, layer types, and hyper-parameters. With the large number of parameters for most networks nowadays, it is intractable to find a good configuration for a given task by hand. In this paper an Efficient Global Optimization (EGO) algorithm is adapted to automatically optimize and configure convolutional neural network architectures. A configurable neural network architecture based solely on convolutional layers is proposed for the optimization. Without using any knowledge on the target problem and not using any data augmentation techniques, it is shown that on several image classification tasks this approach is able to find competitive network architectures in terms of prediction accuracy, compared to the best hand-crafted ones in literature. In addition, a very small training budget (200 evaluations and 10 epochs in training) is spent on each optimized architectures in contrast to the usual long training time of hand-crafted networks. Moreover, instead of the standard sequential evaluation in EGO, several candidate architectures are proposed and evaluated in parallel, which saves the execution overheads significantly and leads to an efficient automation for deep neural network design.

研究の動機と目的

• 深層ニューラルネットワークアーキテクチャを手作業で設計することは、高次元かつ多様な探索空間のため、時間のかかる上に最適でない。この課題に対処する。
• 限られた評価予算でハイパーパramータとアーキテクチャ探索における深層ネットワークの訓練負荷を低減するため、ベイズ最適化アプローチを用いる。
• EGOイテレーションごとに複数の候補アーキテクチャを並列で評価することで、ニューラルアーキテクチャ探索の効率を向上させる。
• 手作業で設計されたモデルと同等の性能を達成できるかどうかを示す。特に、データ拡張やタスクに関する事前知識なしに。

提案手法

• 深さ、幅、カーネルサイズ、活性化関数を柔軟に設定可能な、すべて畳み込み層から構成される設定可能なAll-CNNアーキテクチャを設計する。
• EGOアルゴリズムを変更し、1イテレーションごとに複数の候補アーキテクチャを逐次的ではなく並列に生成することで、探索を高速化する。
• 以前の評価結果に基づいて検証精度を予測するためのガウス過程サーモンモデルを用いる。
• 最適化プロセスでは、限られた訓練予算（MNISTでは10エポック、CIFAR-10では50エポック）を使用し、データ拡張は行わない。
• 探索空間は、レイヤー数、フィルターサイズ、活性化関数などのハイパーパramータを対象とし、アーキテクチャに偏りをもたせない。
• 本手法は、ベンチマーク画像分類タスクおよびタタスティール社の実世界の鋼鉄表面欠険検出問題の両方へ適用された。

実験結果

リサーチクエスチョン

• RQ1 並列EGOに基づくアプローチは、人為的介入と最小限の訓練予算で、高性能なCNNアーキテクチャを自動で発見できるか？
• RQ2 標準的な画像分類ベンチマークにおいて、自動設定されたAll-CNNの性能は、手作業で設計された最先端モデルと比べてどの程度か？
• RQ3 本手法は、タスク固有のデータ拡張なしに、実世界の産業応用（例：鋼鉄表面欠陥検出）へどの程度一般化できるか？
• RQ4 並列EGO戦略は、逐次的EGOと比較して、ニューラルアーキテクチャ探索の合計実行時間をどの程度短縮できるか？
• RQ5 1つの候補ネットワークに対してたった10〜50エポックの訓練で、本手法は高い精度を達成できるか？

主な発見

• 実世界の鋼鉄表面欠陥検出タスクにおいて、本手法は、0.5％の偽陽性率で90％に近い真正陽性率を達成し、手作業で設計されたベースラインを著しく上回った。
• MNISTデータセットでは、データ拡張なしで10エポックの訓練と200回の評価で、競争力のある精度を達成した。
• CIFAR-10では、50エポックの訓練と200回の評価で高い精度に到達し、最小限の訓練予算下でも優れた一般化性能を示した。
• 並列EGO戦略により、逐次的EGOと比較して実行オーバーヘッドを顕著に低減し、高性能なアーキテクチャへの収束を高速化した。
• 鋼鉄欠陥検出タスク向けに最適化されたネットワークは、一般化性能が向上し、再訓練および検証に最小限の分野特有の知識で対応可能だった。
• 本手法は、データセットに関する事前知識やデータ拡張技術に依存せず、効果的なアーキテクチャを効果的に発見できた。