[論文レビュー] Sequential Training of Neural Networks with Gradient Boosting

Seyedsaman Emami, Gonzalo Martínez-Muñoz|arXiv (Cornell University)|Sep 26, 2019

Machine Learning and ELM被引用数 4

ひとこと要約

本論文では、勾配ブースティングを用いたニューラルネットワークの逐次的訓練手法を提案する。最終層は、各ステップで小さなサブネットワーク（1〜数個のニューロン）を追加することで残差を最小化する形で反復的に訓練される。この手法は、Adam や L-BFGS と同等の汎化性能を達成しており、最後に訓練されたニューロンをプルーニングすることで、顕著な精度損失なしに推論速度を動的に制御できる利点を持つ。

ABSTRACT

This paper presents a novel technique based on gradient boosting to train the final layers of a neural network (NN). Gradient boosting is an additive expansion algorithm in which a series of models are trained sequentially to approximate a given function. A neural network can also be seen as an additive expansion where the scalar product of the responses of the last hidden layer and its weights provide the final output of the network. Instead of training the network as a whole, the proposed algorithm trains the network sequentially in $T$ steps. First, the bias term of the network is initialized with a constant approximation that minimizes the average loss of the data. Then, at each step, a portion of the network, composed of $J$ neurons, is trained to approximate the pseudo-residuals on the training data computed from the previous iterations. Finally, the $T$ partial models and bias are integrated as a single NN with $T imes J$ neurons in the hidden layer. Extensive experiments in classification and regression tasks, as well as in combination with deep neural networks, are carried out showing a competitive generalization performance with respect to neural networks trained with different standard solvers, such as Adam, L-BFGS, SGD and deep models. Furthermore, we show that the proposed method design permits to switch off a number of hidden units during test (the units that were last trained) without a significant reduction of its generalization ability. This permits the adaptation of the model to different classification speed requirements on the fly.

研究の動機と目的

• 勾配ブースティングの原則を活用して、ニューラルネットワークの層を逐次的に訓練する手法を開発すること。
• 最後に訓練されたニューロンを効果的に無効化することで、推論中に動的にモデル圧縮を可能にする。
• Adam や SGD、L-BFGS といった標準的なバックプロパゲーションソルバーの代替手段を提供すること。
• 小さなサブネットワークを繰り返し訓練することで、フルネットワーク最適化と同等の性能を達成できることを示すこと。
• 勾配ブースティングフレームワークに木構造でないベース推定器（非木ベース推定器）を用いることの妥当性を検討すること。

提案手法

• ネットワークのバイアスを、平均訓練損失を最小化する定数近似で初期化する。
• T 回の反復の各ステップで、前回の反復の予測からの擬似残差をフィットするように、J 個のニューロンを持つ小さなサブネットワークを訓練する。
• サブネットワークの重みは、残差の損失関数を最小化するためのニュートン・ラプソンステップで更新する。
• 残差は次の反復のために更新され、収束するまでこのプロセスを繰り返す。
• 最終的なモデルは、すべての逐次的に訓練されたサブネットワークを組み合わせた、T×J 個の隠れユニットを持つ単一のニューラルネットワークである。
• 推論時には、最後に訓練されたニューロンを即座に無効化することで、計算コストを削減でき、精度の低下は最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングを効果的に応用して、ニューラルネットワークの最終層を逐次的・加法的に訓練できるか？
• RQ2 この逐次的訓練アプローチは、Adam や L-BFGS といった標準的なソルバーと同等の汎化性能を達成できるか？
• RQ3 最後に訓練されたニューロンを無効化することで、推論中に動的にモデルを圧縮でき、顕著な性能低下なしに実現できるか？
• RQ4 分類タスクと回帰タスクの両方において、特にテーブルデータ設定下で、この手法の性能はどのように比較されるか？
• RQ5 この手法は、トランスファー学習のシナリオにおいて、深層ニューラルネットワークと統合可能か？

主な発見

• 提案手法は、複数の分類および回帰タスクにおいて、Adam や L-BFGS と同等の汎化性能を達成した。
• 回帰タスクでは、評価された大多数のデータセットで最高の性能を示し、他のソルバーを上回った。
• 訓練されたサブネットワーク数（または隠れユニット数）の増加に伴い、モデルの汎化精度が収束する傾向にあり、安定した学習ダイナミクスであることが示された。
• 本手法は、推論中に即座にモデル圧縮を可能にする。最後に訓練されたニューロンを無効化しても、性能低下は最小限に抑えられ、計算制約に応じたランタイムでの適応が可能である。
• トランスファーラーニングの設定において、深層ニューラルネットワークと組み合わせても有効であり、さまざまなアーキテクチャにわたり高いロバストネスを示した。
• 小さな焦点を当てたサブネットワークを繰り返し訓練することで、強力な性能が得られ、一部の回帰シナリオでは標準的なバックプロパゲーションを上回ることさえも示された。