[論文レビュー] Sigsoftmax: Reanalysis of the Softmax Bottleneck

Sekitoshi Kanai, Yasuhiro Fujiwara+2 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 28被引用数 22

ひとこと要約

この論文は、指数関数とシグモイド関数を組み合わせることで、追加のパラメータを追加せずにソフトマックスのボトルネックを解消する、新しい出力活性化関数であるsigsoftmaxを提案する。実験の結果、言語モデリングにおいてソフトマックスおよび混合ソフトマックスを上回り、より低いパープレキシティと出力ベクトルの高い線形独立性を達成した。

ABSTRACT

Softmax is an output activation function for modeling categorical probability distributions in many applications of deep learning. However, a recent study revealed that softmax can be a bottleneck of representational capacity of neural networks in language modeling (the softmax bottleneck). In this paper, we propose an output activation function for breaking the softmax bottleneck without additional parameters. We re-analyze the softmax bottleneck from the perspective of the output set of log-softmax and identify the cause of the softmax bottleneck. On the basis of this analysis, we propose sigsoftmax, which is composed of a multiplication of an exponential function and sigmoid function. Sigsoftmax can break the softmax bottleneck. The experiments on language modeling demonstrate that sigsoftmax and mixture of sigsoftmax outperform softmax and mixture of softmax, respectively.

研究の動機と目的

• ニューラルネットワークの表現能力におけるソフトマックスボトルネックの根本的要因を特定すること。
• 追加のパラメータを追加せずにソフトマックスボトルネックを解消する出力活性化関数を開発すること。
• 出力層の表現力の向上により、言語モデリングの性能を改善すること。
• 数値的に安定したソフトマックスの代替手段を提供し、低次元の隠れ空間における一般化性能を向上させること。

提案手法

• 出力集合（範囲）の観点から、対数ソフトマックスの出力範囲を再分析し、ボトルネックが制限された非線形性と次元制約に起因することを特定する。
• 指数関数とシグモイド関数の合成としてsigsoftmaxを提案する：$ f_{\text{sig}}(z) = \exp(z) \cdot \sigma(z) $。これにより、ソフトマックスを超える出力範囲が得られる。
• ソフトマックスとは異なり、sigsoftmaxの出力範囲は隠れ層の次元によって制限されないことが示され、出力ベクトルの高い線形独立性が可能になる。
• 複数のsigsoftmax出力を組み合わせることで性能をさらに向上させる、拡張版の「混合sigsoftmax（MoSS）」を導入する。
• 数値的安定性を保証するため、確率的勾配降下法を用いて負の対数尤度を最適化する。これはソフトマックスと同様の安定性を達成する。
• テストシーケンスにわたる対数出力ベクトルからなる行列のランクを用いて、表現能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜソフトマックスは表現能力においてボトルネックとなるのか、特に言語モデリングにおいてか？
• RQ2 ソフトマックスのどの構造的・機能的特性が、複雑な確率分布をモデル化する能力を制限しているのか？
• RQ3 追加のパラメータを追加せずに、ソフトマックスボトルネックを解消する新しい出力活性化関数を設計可能か？
• RQ4 sigsoftmaxは、ソフトマックスと比較して、出力ベクトルの線形独立性が高いか？
• RQ5 sigsoftmaxおよびその混合バージョン（MoSS）は、標準的なソフトマックスおよび混合ソフトマックスを上回る性能を言語モデリングタスクで示せるか？

主な発見

• PTBデータセットにおいて、sigsoftmaxは検証パープレキシティ48.3を達成し、ソフトマックス（51.2）およびMoS（48.6）を上回った。
• WT2データセットでは、sigsoftmaxがテストパープレキシティ42.9を達成し、ソフトマックス（43.3）およびMoS（40.8）を下回った。
• WT2におけるsigsoftmaxの線形独立な出力ベクトルの数は5,465であった。これはソフトマックスの402を著しく上回り、ボトルネックを克服できる能力を裏付けた。
• 混合sigsoftmax（MoSS）はWT2でテストパープレキシティ40.3を達成し、MoS（40.8）を上回った。これは、より高い表現能力を示している。
• WT2におけるsigsoftmaxの対数出力行列のランクは5,465であった。これは、出力空間が隠れ層の次元によって制限されないことが示され、ソフトマックスとは対照的であった。
• ReLUベースおよびシグモイドベースの関数は、ソフトマックスよりも高いランクを示したが、数値的に不安定であったため、有効な学習が不可能であった。これに対して、sigsoftmaxは安定した学習が可能であった。