[論文レビュー] AdaNet: Adaptive Structural Learning of Artificial Neural Networks

Corinna Cortes, Xavi Gonzalvo+3 more|arXiv (Cornell University)|Jul 5, 2016

Machine Learning and ELM参考文献 46被引用数 107

ひとこと要約

AdaNet はデータ依存の一般化保証を持ってニューラルネットワークの構造と重みの両方を学習し、CIFAR-10 の二値タスクで標準的な手法と競合する結果を示します。

ABSTRACT

We present new algorithms for adaptively learning artificial neural networks. Our algorithms (AdaNet) adaptively learn both the structure of the network and its weights. They are based on a solid theoretical analysis, including data-dependent generalization guarantees that we prove and discuss in detail. We report the results of large-scale experiments with one of our algorithms on several binary classification tasks extracted from the CIFAR-10 dataset. The results demonstrate that our algorithm can automatically learn network structures with very competitive performance accuracies when compared with those achieved for neural networks found by standard approaches.

研究の動機と目的

• ネットワークアーキテクチャの適応学習を動機づけ、手動設計とハイパーパラメータ調整を回避する。
• アーキテクチャと重みの両方を学習するための理論的一般化保証を提供する。
• 複雑さを制御しつつネットワーク構造を成長させる AdaNet アルゴリズムを開発・分析する。
• CIFAR-10 に派生したタスクで適応的ネットワークの経験的競争力を示す。

提案手法

• 層間の接続と出力を許容する広く一般的なネットワーク仮説クラスを定義する。
• 層ごとの Rademacher 複雑性とマージン保証を用いてデータ依存の一般化境界を導出する。
• Rademacher 複雑性に基づくデータ依存の正則化項を持つ凸代替として AdaNet 目的関数を提案する。
• 経験的損失と複雑さペナルティの凸代替を最小化する、同じ深さまたはより深いサブネットワークを反復的に追加するブースティング風のブロック座標降下を用いる。
• 各反復で2つの候補サブネットワークを説明し、目的関数を最も改善するものを選択する。異なる弱学習戦略を用いる場合もある。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャをトレーニング中に適応的に学習しつつ、一般化保証を提供できるか？
• RQ2 データ依存の複雑性指標をどのように導入してネットワーク構造の追加をガイドし、適合と容量のバランスをとるか？
• RQ3 適応的に学習されたアーキテクチャは、固定アーキテクチャや簡単なベースラインと比較して画像分類タスクで競争力のある性能を達成するか？
• RQ4 トレーニング中にサブネットワークを構築・選択する際の理論の実用的な含意は何か？

主な発見

ラベルペア	AdaNet	LR	NN	NN-GP
deer-truck	0.9372 ± 0.0082	0.8997 ± 0.0066	0.9213 ± 0.0065	0.9220 ± 0.0069
deer-horse	0.8430 ± 0.0076	0.7685 ± 0.0119	0.8055 ± 0.0178	0.8060 ± 0.0181
automobile-truck	0.8461 ± 0.0069	0.7976 ± 0.0076	0.8063 ± 0.0064	0.8056 ± 0.0138
cat-dog	0.6924 ± 0.0129	0.6664 ± 0.0099	0.6595 ± 0.0141	0.6607 ± 0.0097
dog-horse	0.8350 ± 0.0089	0.7968 ± 0.0128	0.8066 ± 0.0087	0.8087 ± 0.0109

• AdaNet は アーキテクチャと重みの両方を学習する際のデータ依存の一般化境界を提供する。
• 境界は層の複雑さの加重平均に依存し、ネットワークの接続強さによって重みづけされることで、低層を強く重視するよう促される。
• CIFAR-10 の二値タスクでの経験的結果は、AdaNet がロジスティック回帰および標準的なニューラルネットワークと比較して競合的な精度を達成することを示す。
• AdaNet のアーキテクチャは多くの組み合わせで疎で浅くなる傾向があるが、必要に応じて深くなることもある（例: 猫-犬）。
• 異なる AdaNet の派生形と弱学習者戦略は、タスク間での精度の頑健性をもたらす。