[論文レビュー] Lightweight Adaptive Mixture of Neural and N-gram Language Models

Anton Bakhtin, Arthur Szlam+2 more|arXiv (Cornell University)|Apr 20, 2018

Natural Language Processing Techniques参考文献 20被引用数 9

ひとこと要約

この論文では、手動で作成された特徴量（例：単語頻度）に基づいて、事前学習済みのニューラル言語モデルとn-gram言語モデルの間で混合重みを動的に予測する小さなゲーティングネットワークを用いて、軽量で適応的な混合モデルを提案する。このゲーティングネットワークにより、再訓練を伴わずに文脈に応じた最適化が可能となり、ワン・ビリオン・ワードおよびWSJのベンチマークで最先端のパープレキシティを達成するが、計算コストは最小限に抑えられる。

ABSTRACT

It is often the case that the best performing language model is an ensemble of a neural language model with n-grams. In this work, we propose a method to improve how these two models are combined. By using a small network which predicts the mixture weight between the two models, we adapt their relative importance at each time step. Because the gating network is small, it trains quickly on small amounts of held out data, and does not add overhead at scoring time. Our experiments carried out on the One Billion Word benchmark show a significant improvement over the state of the art ensemble without retraining of the basic modules.

研究の動機と目的

• 固定された重みによるアンサンブルを超えて、動的かつ適応的なニューラルモデルとn-gramモデルの組み合わせによって言語モデリングの性能を向上させること。
• 固定されたスカラー値の混合重みでは文脈依存のモデルの強みを捉えられないという限界を解消すること。
• 手動で作成した特徴量のみを用いて、高速に学習可能で推論時に効率的なゲーティング機構を設計すること。
• ニューラルモデルおよびn-gramモデルの事前学習済み状態を維持し、高価な再訓練を避けること。
• 最小限の追加計算コストで大規模ベンチマークにおいて顕著なパープレキシティの向上を達成すること。

提案手法

• 小さなゲーティングネットワークを訓練し、各時刻におけるニューラル言語モデルとn-gram言語モデルの最適な混合重みを予測する。
• ゲーティングネットワークの入力として、単語頻度やn-gram統計から得られる手動で作成した特徴量（例：単語頻度、n-gramカウント）を用いる。
• 混合出力は、2つのモデルの対数尤度の重み付き平均として計算され、重みはゲーティングネットワークによって決定される。
• ゲーティングネットワークは、勾配が専門家モデルを通過しないように、確率的最適化（Adam）を用いて検証データ上で訓練される。
• 3つのアーキテクチャ（線形（LIN）、多層パーセプトロン（MLP）、LSTM）を評価し、LSTMが最も優れた性能を示した。
• 入力特徴量に対して、学習データ上で計算された平均と分散を用いて正規化処理を施す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルとn-gramモデルの動的かつ文脈依存的な混合は、固定された混合重みを用いた静的アンサンブルを上回ることができるか？
• RQ2 手動で作成した特徴量に基づいて学習される小さな軽量ゲーティングネットワークは、専門家を再訓練せずに固定重みアンサンブルを上回る性能を達成できるか？
• RQ3 性能向上は、ゲーティングネットワークの適応的重み付け機構によるものか、単にゲーティングネットワーク自体のモデル容量によるものか？
• RQ4 線形、MLP、LSTMといった異なるゲーティングネットワークアーキテクチャの性能と一般化能力は、どのように比較できるか？
• RQ5 ゲーティングネットワークは、頻度に基づく特徴量を効果的に活用して、推論時にモデル選択を改善できるか？

主な発見

• フル特徴量セット（FULL）を用いた適応的混合モデルは、ワン・ビリオン・ワードベンチマークでテストパープレキシティ28.70 ± 0.04を達成し、静的アンサンブルベースラインの29.80を顕著に上回った。
• WSJデータセットでは、最良のモデルがパープレキシティ66.75 ± 0.03を達成し、静的アンサンブル（67.44）に対して統計的に有意な改善を示した。
• LSTMベースのゲーティングネットワークは、MLPおよび線形モデルを上回り、ゲーティング意思決定における時系列的依存性をモデル化することで性能が向上することを示した。
• 1Bワードデータセットにおいて、SIMPLE特徴量セットがニューラルモデルの最終隠れ層からのHIDDEN特徴量を上回った。これは、このタスクにおいて頻度ベースの特徴量が隠れ状態特徴量よりも効果的であることを示唆している。
• ゲーティングネットワークはたった2572パラメータで構成されており、数え千の検証文にわたるデータで高速に学習され、推論コストは無視できるほどであった。
• ニューラルモデルおよびn-gramモデルの再訓練なしに最先端の結果を達成した。これは、軽量で適応的な統合手法の有効性を示している。