[論文レビュー] Neural Random Projections for Language Modelling

Davide Nunes, Luís Antunes|arXiv (Cornell University)|Jul 2, 2018

Topic Modeling参考文献 41被引用数 3

ひとこと要約

本論文は、神経言語モデルにおける語彙表現の圧縮のためのニューラルランダムプロジェクション（NRP）を提案する。稀な語や未知語を固定でスパースなランダムプロジェクションで符号化することで、パラメータ数を顕著に削減しながら、フルエムベッディングベースラインと同等のパープレクシティスコアを達成する。このアプローチは、ほぼ直交するベクトルの性質を活用して、最小限の学習パラメータで意味的類似性を維持するコンパクトな分散表現を生成する。

ABSTRACT

Neural network-based language models deal with data sparsity problems by mapping the large discrete space of words into a smaller continuous space of real-valued vectors. By learning distributed vector representations for words, each training sample informs the neural network model about a combinatorial number of other patterns. In this paper, we exploit the sparsity in natural language even further by encoding each unique input word using a fixed sparse random representation. These sparse codes are then projected onto a smaller embedding space which allows for the encoding of word occurrences from a possibly unknown vocabulary, along with the creation of more compact language models using a reduced number of parameters. We investigate the properties of our encoding mechanism empirically, by evaluating its performance on the widely used Penn Treebank corpus. We show that guaranteeing approximately equidistant (nearly orthogonal) vector representations for unique discrete inputs is enough to provide the neural network model with enough information to learn --and make use-- of distributed representations for these inputs.

研究の動機と目的

• 従来の語彙埋め込みをランダムプロジェクションに置き換えることで、神経言語モデルにおけるデータスパarsityとパrameter非効率性を解消すること。
• 固定でスパースなランダムコードが、離散的語彙入力を効果的に符号化し、分散表現の学習を可能にするかを調査すること。
• ランダムプロジェクションが、パラメータ数を減らしつつも、標準ベンチマークで競争力のあるパープレクシティを維持できる言語モデルを実現できることを示すこと。
• さまざまなランダムプロジェクション次元とモデルアーキテクチャに対して、この手法のロバストネスとスケーラビリティを評価すること。

提案手法

• 各ユニークな語は、次元kの固定でスパースなランダムバイナリベクトル（ランダムインデックス）で符号化され、学習されない入力表現として機能する。
• これらのスパースランダムコードは、学習可能な線形変換により低次元の連続的空間に投影され、コンパクトな語彙埋め込みが形成される。
• モデルは、コンテキスト表現から次語確率を予測するための、ReLU活性化関数とドロップアウト正則化を備えたフィードフォワードニューラルネットワークを用いる。
• 出力層は、投影された語彙表現の上でのソフトマックスにより語彙全体のカテゴリカル分布を計算し、効率的な学習のためエネルギーに基づくモデリング原理を適用する。
• 出力層の計算コストを削減するために、ノイズコントラスト推定（NCE）を用いて評価する。
• 埋め込みサイズ、ドロップアウト率、ランダムインデックス次元kなどのハイパーパrameterは、性能最適化のためグリッドサーチによって調整される。

実験結果

リサーチクエスチョン

• RQ1 固定でスパースなランダムプロジェクションは、神経言語モデルにおける学習済み語彙埋め込みの有効な代替手段として機能するか？
• RQ2 ランダムプロジェクションの次元kが、モデル性能とパラメータ効率にどのように影響するか？
• RQ3 ほぼ直交するベクトル表現を通じて、ランダムプロジェクションが語の意味的類似性をどの程度維持できるか？
• RQ4 明示的な語彙拡張や再訓練なしに、未知語やレアn-gramに一般化できるか？
• RQ5 パープレクシティとパラメータ数の観点から、NRPモデルは標準の神経言語モデルと比較してどの程度の性能を示すか？

主な発見

• NRPモデルは、フルエムベッディングベースラインと同等のテストパープレクシティを達成し、トレーニング可能なパラメータ数を顕著に削減した。
• パープレクシティはランダムインデックス次元kの増加に伴い指数関数的に低下し、低k値でもベースライン性能に収束する。
• ランダムプロジェクション機構が内蔵する暗黙のスムージングのおかげで、モデルは稀な語や未知語に対する強い一般化性能を示した。
• この手法はハイパーパrameterとモデルサイズに敏感であり、最適なパフォーマンスを得るには注意深い調整が必要である。
• ノイズコントラスト推定（NCE）のような近似技術と併用可能であり、大規模語彙でのスケーラブルなトレーニングを可能にする。
• ReLU活性化関数、ドロップアウト、シンプルなフィードフォワードアーキテクチャの使用により、トレーニング速度とパフォーマンスが向上し、最先端のアプローチと競合可能なベースラインモデルが得られた。