[論文レビュー] The Z-loss: a shift and scale invariant classification loss belonging to the Spherical Family

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|Apr 29, 2016

Advanced Neural Network Applications参考文献 16被引用数 5

ひとこと要約

Z-lossは、球面族に属する新しい分類損失関数であり、シフトおよびスケール不変性を有し、出力クラス数に依存しない計算複雑性を備えている。大規模言語モデル化タスクにおいて、log-softmax や階層的 softmax よりも高速かつトップ-k正解率で優れている。log-softmax よりも40倍速く学習が可能であり、トップ5やトップ10の誤差率といった順位付け評価指標においてもより優れた一般化性能を示している。

ABSTRACT

Despite being the standard loss function to train multi-class neural networks, the log-softmax has two potential limitations. First, it involves computations that scale linearly with the number of output classes, which can restrict the size of problems we are able to tackle with current hardware. Second, it remains unclear how close it matches the task loss such as the top-k error rate or other non-differentiable evaluation metrics which we aim to optimize ultimately. In this paper, we introduce an alternative classification loss function, the Z-loss, which is designed to address these two issues. Unlike the log-softmax, it has the desirable property of belonging to the spherical loss family (Vincent et al., 2015), a class of loss functions for which training can be performed very efficiently with a complexity independent of the number of output classes. We show experimentally that it significantly outperforms the other spherical loss functions previously investigated. Furthermore, we show on a word language modeling task that it also outperforms the log-softmax with respect to certain ranking scores, such as top-k scores, suggesting that the Z-loss has the flexibility to better match the task loss. These qualities thus makes the Z-loss an appealing candidate to train very efficiently large output networks such as word-language models or other extreme classification problems. On the One Billion Word (Chelba et al., 2014) dataset, we are able to train a model with the Z-loss 40 times faster than the log-softmax and more than 4 times faster than the hierarchical softmax.

研究の動機と目的

• 大規模出力分類問題、特に言語モデル化のような極端な分類タスクにおいて、log-softmax の計算非効率性を解消すること。
• トップ-k誤差率のような非微分可能なタスク損失関数と、代理損失関数との乖離を低減すること。
• 出力クラス数に依存しない学習複雑性を維持しながら、高い性能を発揮する損失関数を開発すること。
• 従来の代理損失関数よりも、実用的な評価指標にうまく一致する新しい損失関数が可能かどうかを検討すること。

提案手法

• Z-lossは、出力ログィットのアフィン変換に対して不変性を実現するためのZ正規化ステップに基づく。このステップにより、事前活性化値に対してシフトおよびスケール不変性が適用され、代理損失関数への適用が可能になる。
• Z-lossは球面損失族に属し、出力重みの正確な勾配更新が、クラス数Dに依存しないO(d²)時間で可能になる。これは、行列分解表現W = VUを用いることで実現される。
• 要約統計量を用いて損失と勾配を効率的に計算することで、標準的なsoftmaxベースの誤差逆伝播のO(d×D)コストを回避している。
• Z-lossは、正規化出力の形状を制御する2つの学習可能なハイパーパrameter a と b を組み込み、トップ-k正解率のような異なる評価指標に適応可能である。
• Z正規化を最初に適用することで、任意の標準損失関数に一般化可能であり、タスク固有の指標に適合させるためにハイパーパrameterのチューニングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 出力クラス数に依存しないスケーリングを維持しながらも高い性能を発揮する損失関数を設計できるか？
• RQ2 シフトおよびスケール不変な損失関数は、トップ-k誤差率のような非微分可能なタスク指標との整合性を向上させるか？
• RQ3 大規模言語モデル化タスクにおいて、Z-lossはlog-softmax や階層的 softmax と比較して、学習速度および最終的な性能で優れているか？
• RQ4 Z正規化プロセスにおける学習可能なハイパーパrameterは、標準的な代理損失関数を上回る一般化性能を向上させるか？

主な発見

• 793,471クラスを有するOne Billion Wordデータセットにおいて、Z-lossは標準的なlog-softmaxに比べて40倍速く学習が可能であり、階層的softmaxよりも4倍以上速かった。
• 4日間の固定学習予算下で、Z-lossはより大きなモデル（net2）をより効率的に学習させ、階層的softmaxよりも低いトップ1誤差率を達成した。
• Penn Tree Bankデータセットにおいて、Z-lossはトップ5、トップ10、トップ20、トップ50誤差率において、log-softmax やクロスエントロピー・シグモイドよりも優れた性能を示した。
• Z-lossにおけるハイパーパrameter a と b は極めて重要であり、特にaがトップ-k性能に強い影響を及ぼした。また、初期段階でのハイパーパrameterチューニングで十分に最適な結果が得られた。
• Z正規化技術は、log-softmax などの任意の標準損失関数に適用可能であり、タスク指標との整合性を高めるために調整可能なハイパーパrameterを導入できる。