[論文レビュー] Be Careful What You Backpropagate: A Case For Linear Output Activations & Gradient Boosting

Anders Øland, Aayush Bansal+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Neural Network Applications参考文献 18被引用数 9

ひとこと要約

この論文は、多クラス分類における長年のソフトマックスの使用に疑問を呈し、線形出力活性化関数をソフトマックスに代えて使用することで、深層ニューラルネットワークにおける学習収束と一般化性能が向上することを主張している。正規化を排除し、指数勾配ブースティングのみを保持することで、学習が加速され、PASCAL VOC 2012のセマンティックセグメンテーションタスクにおいて33%の高速化を達成しながら、精度も向上した。これは、多クラス分類においてソフトマックスが長年標準的であったことに対して挑戦的である。

ABSTRACT

In this work, we show that saturating output activation functions, such as the softmax, impede learning on a number of standard classification tasks. Moreover, we present results showing that the utility of softmax does not stem from the normalization, as some have speculated. In fact, the normalization makes things worse. Rather, the advantage is in the exponentiation of error gradients. This exponential gradient boosting is shown to speed up convergence and improve generalization. To this end, we demonstrate faster convergence and better performance on diverse classification tasks: image classification using CIFAR-10 and ImageNet, and semantic segmentation using PASCAL VOC 2012. In the latter case, using the state-of-the-art neural network architecture, the model converged 33% faster with our method (roughly two days of training less) than with the standard softmax activation, and with a slightly better performance to boot.

研究の動機と目的

• ソフトマックスのような飽和出力活性化関数が、深層ネットワークにおける学習を妨げているかどうかを調査すること。
• ソフトマックスの利点が正規化に起因するのか、それとも指数勾配ブースティングに起因するのかを特定すること。
• 単純な代替手法として、線形出力活性化関数に指数勾配ブースティング（exp-GB）を適用する手法を提案し、その有効性を評価すること。
• 誤差関数の非凸性を低減することで最適化効率とモデル一般化性能が向上することを示すこと。

提案手法

• 標準的なソフトマックス出力活性化関数を、線形出力に置き換え、その後に指数勾配ブースティング（exp-GB）を適用する。
• 出力活性化関数として恒等関数を使用し、飽和性と正規化を回避する。
• 誤差勾配に指数ブースティングを適用：∇L/∇x = exp(y − t)、ここでyは原始出力、tはターゲットである。
• 標準的なソフトマックスおよび他の非線形関数（例：pow3-GB：3次ブースティング）と比較して、学習ダイナミクスと性能を評価する。
• ヘッセ行列を用いて誤差関数の2次的性質を分析し、収束速度の向上を説明する。
• CIFAR-10、ImageNet、PASCAL VOC 2012でモデルを学習させ、実験的に手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスの使用は、深層ネットワークにおける学習収束と一般化性能を妨げているか？
• RQ2 ソフトマックスの利点は正規化に起因するのか、それとも指数勾配ブースティングに起因するのか？
• RQ3 ソフトマックスを線形出力と指数勾配ブースティングに置き換えることで、学習速度と精度が向上するか？
• RQ4 ソフトマックスと比較して、exp-GBを用いることで誤差関数の曲率はどのように変化するか？
• RQ5 ソフトマックスにおける正規化項s = ∑i exp(xi)は、勾配の大きさと最適化ダイナミクスにどのような影響を与えるか？

主な発見

• PASCAL VOC 2012のセマンティックセグメンテーションタスクにおいて、提案手法は標準的なソフトマックスと比較して33%の高速な収束を達成した。
• 指数勾配ブースティングを用いたモデルは、標準的なソフトマックスベースラインと比較してわずかに高い性能を示した。
• ソフトマックスにおける正規化項s = ∑i exp(xi)は、学習過程で単調に増加し、10層のCIFAR-10モデルでは2,342に達した。
• 理論的分析により、exp-GBはソフトマックスよりも大きなヘッセ行列（曲率）を持つことが示され、最小値付近での収束が速くなることが裏付けられた。
• ソフトマックスの正規化を除去しながら指数勾配ブースティングを保持することで、追加のハイパーパramータチューニングなしに学習ダイナミクスが改善された。
• 結果から、ソフトマックスの主な利点は正規化ではなく、学習を加速する指数勾配ブースティングに起因することが示された。