[論文レビュー] Gradient Boosting Neural Networks: GrowNet

Sarkhan Badirli, Xuanqing Liu+4 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 27被引用数 54

ひとこと要約

GrowNet は、浅いニューラルネットワークを弱い学習器として勾配ブースティングの枠組みに統合し、補正ステップと二階統計量を用いて、分類、回帰、および学習リランキングのタスクで最先端の結果を達成します。

ABSTRACT

A novel gradient boosting framework is proposed where shallow neural networks are employed as ``weak learners''. General loss functions are considered under this unified framework with specific examples presented for classification, regression, and learning to rank. A fully corrective step is incorporated to remedy the pitfall of greedy function approximation of classic gradient boosting decision tree. The proposed model rendered outperforming results against state-of-the-art boosting methods in all three tasks on multiple datasets. An ablation study is performed to shed light on the effect of each model components and model hyperparameters.

研究の動機と目的

• ニューラルネットワークを弱い学習器として用いる統一的な勾配ブースティングのパラダイムを、決定木の代わりにモチベートする。
• 安定性とタスク固有のチューニングを改善するため、二階統計量と補正ステップを備えた効率的なオフ・ザ・シェルフの学習アルゴリズムを開発する。
• GrowNet の適用性と優位性を、複数の実データセットにおける分類、回帰、学習リランキングで示す。
• 成分（二階統計量、補正ステップ、ダイナミックブースティング）とハイパーパラメータの影響を理解するアブレーション研究を提供する。

提案手法

• モデルを浅いニューラルネットワークの加法的アンサンブルとして表現する： ŷ_i = sum_{k=1}^K α_k f_k(x_i).
• 残差 g_i および h_i に対する二階のニュートン-ラフソン法を使って泰勒展開した損失を最小化することで、各弱学習器 f_t を訓練する。
• 前の弱学習器のペナルティ前層特徴を入力に追加して、次の学習器のスタック特徴セットを形成する。
• 補正ステップ（C/S）を組み込み、元の入力で追加されたすべての学習器を共同再訓練し、α_t を更新して学習器間の相関を低減する。
• 二階統計量を用いて各弱学習器のターゲットを形成し、回帰・分類・ランキングのタスクに適した最適化を可能にする。
• ダイナミックブースト率 α_t を補正ステップ中に更新して、ハイパーパラメータ調整を容易にする。

実験結果

リサーチクエスチョン

• RQ1 浅いニューラルネットワークを弱い学習器とする勾配ブースティングは、従来のGBDT手法や深層ニューラルネットワークを、一般的なMLタスクで上回ることができるか。
• RQ2 二階統計量と補正ステップの組み込みは、分類・回帰・学習リランキングの安定性・収束性・一般化能力を改善するか。
• RQ3 GrowNet はXGBoost、AdaNet、深層ネットと比較して、性能・訓練時間・チューニング労力の点で多様なデータセットにおいてどうであるか。

主な発見

Dataset / Task	Metric	XGBoost	GrowNet (pairwise)	GrowNet (Gen. I div.)
MSLR-WEB 10K	NDCG@5	0.4677(0.0287)	0.5106(0.0011)	0.5044(0.0072)
MSLR-WEB 10K	NDCG@10	0.4858(0.0245)	0.5203(0.0015)	0.5137(0.0070)
Yahoo LTR	NDCG@5	0.7618	0.7726	0.7713(0.0006)
Yahoo LTR	NDCG@10	0.7913	0.8101	0.8088(0.0005)

• GrowNet は Microsoft Learning to Rank (MSLR-WEB 10K) および Yahoo LTR データセットで、XGBoost および GrowNet のバリアント（ペアワイズおよび一般 I-ダージェンス損失）と比較して、NDCG@5 および NDCG@10 で優位を示した。
• MSLR-WEB 10K では、NDCG@5 が XGBoost の 0.4677(0.0287) から GrowNet（ペアワイズ） 0.5106(0.0011) に、NDCG@10 が 0.4858(0.0245) から 0.5203(0.0015) に改善。
• Yahoo LTR では、NDCG@5 が 0.7618 から 0.7726、NDCG@10 が 0.7913 から 0.8101 に GrowNet（ペアワイズ）で改善。
• GrowNet は Higgs、CT スライス局在化、YearPredictionMSD データセットの回帰で基準法に比べて競争力のある RMSE を、分類では高い AUC を達成した。
• アブレーション研究は、補正ステップと二階統計量が測定可能な改善を提供することを示し、スタック特徴量アプローチ（ペナルティ層前特徴）は、特にランキングタスクで性能を強化した。
• GrowNet が30個の浅い学習器（2-層MLP）を用いる場合、はるかに深いDNNスタックと同等以上の性能を、学習時間を短縮し、チューニングの負担を減らして達成する。