[論文レビュー] SSFN -- Self Size-estimating Feed-forward Network with Low Complexity, Limited Need for Human Intervention, and Consistent Behaviour across Trials

Saikat Chatterjee, Alireza M. Javid+5 more|arXiv (Cornell University)|May 17, 2019

Machine Learning and ELM参考文献 53被引用数 9

ひとこと要約

本稿では、凸最適化とランダム行列構造を用いて、ネットワークの深さ、幅、重みを同時に最適化する自己サイズ推定フィードフォワードニューラルネットワークであるSSFNを提案する。計算複雑度が低く（ラップトップで数分）、モンテカルロ試行において一貫した性能を示し、ハイパーパrameterチューニングが最小限で、ほとんどのベンチマークで競争力ある精度を達成するが、CIFAR-10では性能が劣る。この問題は、ハイブリッドCNN-SSFNアーキテクチャにより緩和される。

ABSTRACT

We design a self size-estimating feed-forward network (SSFN) using a joint optimization approach for estimation of number of layers, number of nodes and learning of weight matrices. The learning algorithm has a low computational complexity, preferably within few minutes using a laptop. In addition the algorithm has a limited need for human intervention to tune parameters. SSFN grows from a small-size network to a large-size network, guaranteeing a monotonically non-increasing cost with addition of nodes and layers. The learning approach uses judicious a combination of `lossless flow property' of some activation functions, convex optimization and instance of random matrix. Consistent performance -- low variation across Monte-Carlo trials -- is found for inference performance (classification accuracy) and estimation of network size.

研究の動機と目的

• フィードフォワードニューラルネットワークにおけるネットワークの深さと幅を、最小限の人的介入で自動的に推定するアルゴリズム的手法の開発。
• アーキテクチャ探索の組み合わせ的複雑性に対処し、訓練コストが増加しないように、小規模なネットワークから段階的に大規模なネットワークへと成長させる。
• 独立したモンテカルロ試行間で推論性能とサイズ推定が一貫することを保証し、再現性と信頼性を向上させる。
• 特定の活性化関数の「損失なしフロー特性」と凸緩和を活用することで、手動によるハイパーパrameterチューニングなしで解析的正則化を導出する。
• CIFAR-10のような困難なデータセットでの性能制限を克服するため、CNN特徴を統合したハイブリッドアーキテクチャを提案する。

提案手法

• 訓練コストがサイズ拡大に伴って増加しないように保証する層ごとの最適化戦略を採用し、段階的に層とノードを追加する。
• ReLUベースの単層ネットワークにおける「損失なしフロー特性」（LFP）を活用し、多層SSFNの解析的正則化パラメータを導出する。
• 重み行列を学習された成分とランダム行列インスタンスの組み合わせとして構造化することで、非凸最適化問題を凸問題に緩和する。
• 交替方向乗数法（ADMM）を用いて凸最適化問題を効率的に解き、計算複雑度をラップトップで数分にまで低減する。
• CNN特徴をSSFNの最初の層への入力として統合し、ハイブリッドシステムを構築することで、CIFAR-10のような困難なデータセットでの性能を向上させる。
• 独立した実行間でのサイズ推定と推論精度の一貫性を評価するためにモンテカルロシミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 スティリスティックな要素を含むにもかかわらず、なぜSSFNは複数の独立したモンテカルロ試行において一貫したネットワークサイズと性能を示すのか？
• RQ2 CIFAR-10のような特定のデータセットでSSFNが失敗する背後にあるデータ統計的要因は何か？ また、現在のアーキテクチャの限界は何か？
• RQ3 ハイパーパrameterチューニングなしで解析的正則化をどのように導出できるのか？ また、「損失なしフロー特性」はこのプロセスにおいて果たす役割は何か？
• RQ4 人為的介入を増加させることなく、SSFNの困難なデータセットにおける性能を向上させることは可能か？ どのようなアーキテクチャ的変更がこれを可能にするか？
• RQ5 試行間で観察されたサイズと精度推定の一貫性の理論的根拠は何か？

主な発見

• SSFNは、CIFAR-10を除くすべてのデータセットで、モンテカルロ試行間で一貫した分類精度とネットワークサイズを達成し、高い再現性を示している。
• MNISTデータセットでは95.55%の精度を達成し、バックプロパゲーションによるファインチューニングで97.61%まで向上し、Shuttleデータセットでは99.82%の精度を達成した。
• CIFAR-10では、SSFN単体で47.21%の精度にとどまり、SOTA（98.52%）に比べて顕著な性能劣化を示しており、大きな性能制限である。
• ハイブリッドSSFN-CNNアーキテクチャにより、CIFAR-10の精度は76.4%まで向上し、スタンドアロンのCNN（75.34%）を上回り、追加のハイパーパrameterチューニングを必要としなかった。
• SSFN学習アルゴリズムの計算複雑度は、標準ラップトップでもすべての8つのベンチマークデータセットで数分の範囲に収まり、低複雑度を確認した。
• ほとんどのハイパーパrameterが異なるデータセットやタスク間で変更されないまま維持されるなど、人為的介入が最小限で、表IIに示すように、多くの設定で一貫性を示した。