[論文レビュー] Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

Zhilin Yang, Zihang Dai+2 more|arXiv (Cornell University)|Nov 10, 2017

Topic Modeling参考文献 34被引用数 64

ひとこと要約

本論文は言語モデルにおける Softmax のボトルネックを明らかにし、Mixture of Softmaxes (MoS) を提案して表現Rankを高め、PTB、WT2、1B Word のデータセットで困惑度を改善する。

ABSTRACT

We formulate language modeling as a matrix factorization problem, and show that the expressiveness of Softmax-based models (including the majority of neural language models) is limited by a Softmax bottleneck. Given that natural language is highly context-dependent, this further implies that in practice Softmax with distributed word embeddings does not have enough capacity to model natural language. We propose a simple and effective method to address this issue, and improve the state-of-the-art perplexities on Penn Treebank and WikiText-2 to 47.69 and 40.68 respectively. The proposed method also excels on the large-scale 1B Word dataset, outperforming the baseline by over 5.6 points in perplexity.

研究の動機と目的

• 従来の Softmax ベースの言語モデルが文脈依存分布を表現する能力における限界を特定する。
• 言語モデリングを行列分解問題として定式化し Softmax ボトルネックを定義する。
• 表現力を増やしつつパラメータ数の爆発を避ける MoS を提案する。
• 標準ベンチマークで困惑度を改善し経験的なランクの証拠を提供する。
• MoS の標準的な言語モデリングを超えた一般化と適用性を議論する。

提案手法

• 文脈ベクトルを Hθ、語彙埋め込みを Wθ で表し、言語モデリングを行列分解としてモデル化する。
• 対数確率行列 A とその階数制約を用いて Softmax ボトルネックを定義する。
• Mixture of Softmaxes (MoS) を導入し、Pθ(x|c)=sum_k πc,k softmax(hc,kᵀ w x) を K コンポーネントとして定義する。
• MoS は複数の Softmax コンポーネントの log-sum-exp を用いることで、より高いランク A を近似できる。
• MoS を MoC（特徴空間の混合）と比較し、MoS がなぜランクのボトルネックをより効果的に打破するかを示す。
• パラメータ増加の効果ではなく、ランクの増加と困惑度の改善を結びつける実証的証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 文脈依存が強い自然言語を表現するには、分散語埋めを用いた場合、標準 Softmax は十分な容量を持つか？
• RQ2 離散潜在成分（MoS）を導入することで対数確率行列の有効ランクを上げ、困惑度を改善できるか？
• RQ3 MoS は標準ベンチマークでの表現力・一般化・効率性において Baselines（MoC、Softmax）とどう比較されるか？

主な発見

Dataset	Model	#Param	Perplexity (Validation)	Perplexity (Test)
Penn Treebank	Softmax baseline (comparison)	119M	—	—
Penn Treebank	AWD-LSTM-MoS w/o finetune	22M	58.08	55.97
Penn Treebank	AWD-LSTM-MoS	22M	56.54	54.44
WikiText-2	AWD-LSTM-MoS w/o finetune	35M	66.01	63.33
WikiText-2	AWD-LSTM-MoS	35M	63.88	61.45
1B Word	Softmax baseline	119M	—	42.77
1B Word	MoS (ours)	113M	—	37.10

• MoS は PTB と WT2 で強力なベースラインを大幅に上回り、47.69 と 40.68 を達成。
• 1B Word データセットでは、MoS は同等のモデルサイズで Softmax を上回り、困惑度を 5.6 点以上上回る。
• MoS は Softmax または MoC よりもはるかに高い log-probability 行列の階数を誘導し、現実的な語彙サイズでほぼ全階数に近づく。
• アブレーション研究は、利得が MoS 構造に起因し、ハイパーパラメータや追加層ではないことを示す。
• MoS は文脈依存の次トークン予測を改善し、過学習を過度に起こすことなく競争力のある一般化を維持する。