[論文レビュー] Breaking the Softmax Bottleneck via Learnable Monotonic Pointwise Non-linearities

Octavian-Eugen Ganea, Sylvain Gelly+2 more|arXiv (Cornell University)|Feb 21, 2019

Model Reduction and Neural Networks参考文献 30被引用数 6

ひとこと要約

本稿では、大規模な語彙を備えた言語モデルにおけるランク不足のボトル neck を解消するため、ログティクスに適用される学習可能で単調なポイントワイズ非線形関数である Linear-Monotonic-Softmax (LMS) を提案する。標準的な Softmax や mixture-of-Softmax と比較して交差エントロピーとモードマッチング性能が向上し、計算コストの増加は最小限に抑えられ、PennTreeBank および WikiText-2 で最先端のパープレキシティを達成している。MoS よりもはるかに効率的である。

ABSTRACT

The Softmax function on top of a final linear layer is the de facto method to output probability distributions in neural networks. In many applications such as language models or text generation, this model has to produce distributions over large output vocabularies. Recently, this has been shown to have limited representational capacity due to its connection with the rank bottleneck in matrix factorization. However, little is known about the limitations of Linear-Softmax for quantities of practical interest such as cross entropy or mode estimation, a direction that we explore here. As an efficient and effective solution to alleviate this issue, we propose to learn parametric monotonic functions on top of the logits. We theoretically investigate the rank increasing capabilities of such monotonic functions. Empirically, our method improves in two different quality metrics over the traditional Linear-Softmax layer in synthetic and real language model experiments, adding little time or memory overhead, while being comparable to the more computationally expensive mixture of Softmaxes.

研究の動機と目的

• 大規模な出力語彙における複雑な確率分布をモデル化する際の Linear-Softmax 層の表現的制限を解消すること。
• 学習可能で単調なポイントワイズ非線形関数が、行列のランクを効果的に向上させ、Softmax ボトル neck を緩和できるかどうかを調査すること。
• 合成および現実世界の言語モデリングタスクにおいて、交差エントロピー最小化とモードマッチングの両方を向上させる手法を開発すること。
• Softmax の文脈において、単調な非線形関数のランク増加能力について理論的保証を提供すること。
• 高コストな mixture-of-Softmax モデルの効率的で効果的な代替手段を設計し、低メモリおよび低時間オーバーヘッドで高い性能を維持すること。

提案手法

• 最終の Softmax 層の直前に適用される、学習可能な連続的かつ単調なポイントワイズ関数（PLIF）を提案し、これにより LMS アーキテクチャを構築する。
• 最適化の安定性を保ちながらランクの性質を維持するため、非線形関数に単調性を制約する。
• 固定関数を使用するのではなく、パラメトリックな非線形変換を学習することで、Sigsoftmax を一般化する。
• 微分可能でパラメータ化された関数（例：ReLU を用いたものやスプラインベースのもの）を用いて、ログティクスの非線形歪みをモデル化する。
• AWD-LSTM モデルに PLIF 層を最終 Softmax 層に置き換えて、標準的な訓練手順（学習率スケジューリングを伴う SGD）を適用する。
• 合成データおよび実際の言語モデリングベンチマーク（PennTreeBank、WikiText-2）で性能を評価し、関数の勾配統計に関するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で単調なポイントワイズ非線形関数は、ログティクスから確率への行列のランクを効果的に向上させ、Softmax ボトル neck を解消できるか？
• RQ2 合成分布において、LMS は Linear-Softmax や mixture-of-Softmax と比較して、交差エントロピーとモードマッチングの観点でどのように性能を発揮するか？
• RQ3 LMS は、計算コストおよびメモリオーバーヘッドを最小限に抑えながら、実際の言語モデリングタスクで競争力のあるパープレキシティを達成できるか？
• RQ4 学習された非線形関数の関数的形はどのようなものか？実際には非自明な非線形挙動を示しているか？
• RQ5 線形制約付きの最大エントロピー原理と LMS 目的関数との間に理論的関連性があるか？

主な発見

• 合成実験では、LMS は Linear-Softmax や mixture-of-Softmax と比較して、交差エントロピーの最小化と真のモードへのマッチングにおいて顕著に優れている。特に低次元埋め込み（低 D）および大規模語彙（大 M）の設定で顕著である。
• PennTreeBank データセットでは、LMS-PLIF はテストパープレキシティ 107.5 を達成し、ベースラインの AWD-LSTM（110.2）を上回り、はるかに高コストな MoS モデルと同等の性能を発揮している。
• WikiText-2 では、LMS-PLIF がテストパープレキシティ 101.7 を達成し、Linear-Softmax を上回り、はるかに高コストな最先端の MoS モデルと同等の性能を発揮しているが、計算コストははるかに低い。
• 学習された PLIF 関数は顕著な非線形挙動を示しており、勾配統計では平均が 1.10、標準偏差が 0.62、最大勾配が 5.16 であり、ログティクスの強い非線形歪みが生じていることが示唆されている。
• LMS の計算オーバーヘッドはほとんどない：訓練時間および GPU メモリ使用量は、標準的な Linear-Softmax とほぼ同一であり、MoS とは異なり、桁違いに高コストではない。
• MoS に PLIF 層を組み合わせた（MoS + PLIF）モデルは、PennTreeBank で最高の結果（パープレキシティ 106.8）を達成し、他のすべてのベースラインを上回った。これにより、LMS コンponent のモジュラリティと有効性が示された。