[論文レビュー] Progressive Learning for Systematic Design of Large Neural Networks

Saikat Chatterjee, Alireza M. Javid+3 more|arXiv (Cornell University)|Oct 23, 2017

Machine Learning and ELM参考文献 27被引用数 24

ひとこと要約

本論文では、正規化に基づく正則化を用いた凸最適化により、段階的に層とノードを追加することで、大規模な深層ニューラルネットワークを体系的に設計するためのプログレッシブ・ラーニング・ネットワーク（PLN）を提案する。この手法により、手動によるハイパーパrameterチューニングの削減が可能となり、ランダムな重み行列が活用され、良好な一般化性能が達成される。例えば、MNISTの精度はチューニングにより95.7%から98.0%に向上し、訓練誤差は非増加を維持し、各新しい層の追加に伴い性能の飛躍が観察される。

ABSTRACT

We develop an algorithm for systematic design of a large artificial neural network using a progression property. We find that some non-linear functions, such as the rectifier linear unit and its derivatives, hold the property. The systematic design addresses the choice of network size and regularization of parameters. The number of nodes and layers in network increases in progression with the objective of consistently reducing an appropriate cost. Each layer is optimized at a time, where appropriate parameters are learned using convex optimization. Regularization parameters for convex optimization do not need a significant manual effort for tuning. We also use random instances for some weight matrices, and that helps to reduce the number of parameters we learn. The developed network is expected to show good generalization power due to appropriate regularization and use of random weights in the layers. This expectation is verified by extensive experiments for classification and regression problems, using standard databases.

研究の動機と目的

• 大規模なニューラルネットワークにおけるネットワークの深さと幅を決定する体系的な設計原則の欠如に対処すること。
• 深層ネットワークの学習における手動によるハイパーパrameterチューニングおよび正則化の負荷を軽減すること。
• 訓練性能の継続的向上を保証するとともに、良好な一般化を促進する手法を開発すること。
• 段階的な層およびノードの追加が近似誤差の減少とテスト性能の向上をもたらすかどうかを調査すること。
• ランダムな重み行列と凸最適化が、トレーニング可能なパラメータ数の削減と一般化性能の向上に果たす役割を調査すること。

提案手法

• ネットワークは、1層ずつ段階的に追加することで成長させ、各層は最小二乗法とノルムに基づく正則化を用いた凸最適化により最適化される。
• ReLUなどの非線形活性化関数が使用され、安定した段階的改善を可能にするプログレッシブ・ラーニング特性を支援する。
• 一部のノード（n_i - 2Q 個）に対してランダムな重み行列が使用され、学習パラメータ数が削減される。
• 正則化パラメータ（λ_ls, μ）は、直感と過去の実験経験に基づき、限定的な手動による調整で設定される。
• 訓練プロセスはグリーディーである：各層は以前の層が固定された後に個別に最適化され、凸部分問題が保証される。
• アーキテクチャは適応的に進化し、層のサイズと深さは訓練中の性能向上に基づいて選択される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを体系的かつ段階的に成長させる方法は、手動チューニングなしで訓練コストの継続的低下をもたらすか？
• RQ2 部分的に接続された層におけるランダムな重み行列の使用は、トレーニング可能なパラメータ数を削減しながら、一般化性能を維持または向上させるか？
• RQ3 新しい層を追加すると、性能に測定可能な急激な向上が現れるか？これは、より豊かな特徴表現を示唆するか？
• RQ4 ノルムに基づく正則化を用いた凸最適化は、段階的なネットワーク成長の過程で訓練誤差が非増加であり、安定した収束を保証できるか？
• RQ5 標準ベンチマーク上でのプログレッシブ・ネットワークの一般化性能は、標準的な深層ネットワークと比べてどうか？

主な発見

• プログレッシブ・ラーニング・ネットワーク（PLN）は、チューニング後、MNISTデータセットで98.0%の精度を達成し、デフォルトパラメータの95.7%から顕著な向上を示し、最小限のチューニングで顕著な性能向上を実現した。
• Letterデータセットでは、PLNの精度がチューニング後、95.7%から97.1%に向上し、複数のデータセットにわたり一貫した向上を示した。
• 訓練およびテストセットの両方で、層とノードの追加に伴い一貫した向上が観察され、各新しい層の追加に伴い急激なジャンプが現れ、特徴表現の向上を示唆した。
• ネットワークサイズが大きくなるに従い、訓練誤差とテスト誤差の差が拡大する傾向にあり、トレーニング可能なパラメータ数の増加に伴い一般化性能が低下することを確認した。
• アーキテクチャは訓練中に自己組織化され、一部の層が他の層よりも大きく成長する傾向にあり、データの複雑さに基づく適応的深度および幅選択が示唆された。
• 正則化および最適化パラメータは経験に基づく直感を用いて最小限の干渉で設定されるため、手動によるハイパーパrameterチューニングへの依存が低減された。