[論文レビュー] Functional Gradient Boosting based on Residual Network Perception

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|Feb 25, 2018

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

本稿では、残差ネットワーク（ResNet）の知覚にインspiredされた、関数的勾配ブースティング手法ResFGBを提案する。この手法は、特徴マップ上の勾配降下を用いて、関数空間における特徴抽出を繰り返し改善する。本手法は、ベンチマークデータセットにおいて最先端の性能を達成し、分類タスクにおいてLightGBMや他のベースラインを上回るが、マージンとリスクバウンドを用いた理論的一般化保証も提供する。

ABSTRACT

Residual Networks (ResNets) have become state-of-the-art models in deep learning and several theoretical studies have been devoted to understanding why ResNet works so well. One attractive viewpoint on ResNet is that it is optimizing the risk in a functional space by combining an ensemble of effective features. In this paper, we adopt this viewpoint to construct a new gradient boosting method, which is known to be very powerful in data analysis. To do so, we formalize the gradient boosting perspective of ResNet mathematically using the notion of functional gradients and propose a new method called ResFGB for classification tasks by leveraging ResNet perception. Two types of generalization guarantees are provided from the optimization perspective: one is the margin bound and the other is the expected risk bound by the sample-splitting technique. Experimental results show superior performance of the proposed method over state-of-the-art methods such as LightGBM.

研究の動機と目的

• 特徴抽出の空間における関数的勾配を用いて、ResNetsの勾配ブースティングの見方を数学的に形式化すること。
• ResNetに類似したアーキテクチャを活用して、反復的特徴学習を実現する新しいブースティング手法ResFGBを開発すること。
• マージンと期待リスクバウンドを用いて、一般化保証を確立すること。
• 標準ベンチマークデータセット上で、ResFGBがLightGBMのような最先端の手法を上回ることを実験的に示すこと。

提案手法

• 本手法は、関数的空間における特徴抽出器の最適化として勾配ブースティングを定式化し、関数的勾配を用いて表現を反復的に改善する。
• 関数的勾配のノルムを最小化する層を積み重ねることで、深層アーキテクチャを構築し、効率的な最適化を促進する。
• トレーニングには、Nesterovのモーメンタムを用いたマルチレイヤーパーセプトロンを特徴抽出器として使用する。
• 二つの損失関数を評価する：マルチクラスロジスティック損失とスムーズハーフィング損失であり、ハイパーパramータは検証セットを用いて調整される。
• 一般化バウンドは、マージン理論とサンプル分割技術を用いて導出され、理論的頑健性を保証する。
• 本手法は、MNIST、USPS、CovTypeを含む標準データセットにおける二値分類およびマルチクラス分類タスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 ResNetsの関数的勾配の見方は、数学的に形式化可能であり、新たなブースティングフレームワークを導くことができるか？
• RQ2 関数的勾配の最小化による反復的特徴抽出は、より良い一般化とより速い収束をもたらすか？
• RQ3 提案されたResFGB手法は、LightGBMのような最先端の勾配ブースティングモデルと比較して、実験的にどのように異なるか？
• RQ4 マージンとサンプル分割技術を用いて、一般化に対してどのような理論的保証を提供できるか？
• RQ5 本手法は、視覚タスクのための畳み込みネットワークを含めるように拡張可能か？

主な発見

• ResFGBは、letter、USPS、ijcnn1、MNIST、SUSYデータセットで最高の分類精度を達成し、LightGBMや他のベースラインを上回る。
• CovTypeデータセットでは、ResFGBはLightGBMの性能と同等であり、テストされたすべての手法の中で最高である。
• 収束曲線において、本手法はより速い収束とより高いテスト精度を示し、効率的な最適化を示している。
• 理論的分析により、関数的勾配ノルムの最小化が、より小さい分類誤差に繋がることが確認され、最適化戦略の有効性が裏付けられる。
• サンプル分割を用いて導出されたマージンバウンドと期待リスクバウンドは、本手法の一般化性能に対する強い理論的根拠を提供する。
• 実験的結果により、ResFGBは、すべてのベンチマークデータセットにおいて、標準的な勾配ブースティング、マルチレイヤーパーセプトロン、サポートベクターマシンを一貫して上回ることが示された。