[論文レビュー] Improving Context Aware Language Models

Aaron Jaech, Mari Ostendorf|arXiv (Cornell University)|Apr 21, 2017

Topic Modeling参考文献 26被引用数 3

ひとこと要約

本稿では、文脈依存的適応のための乗法的スケーリングと特徴ハッシュを用いて、RNN言語モデルの隠れ層および出力層を強化することで、文脈に配慮した言語モデルの性能を向上させる新規手法を提案する。この手法は、3つのコーパスにおいて標準的な連結ベースの適応法を上回り、パープレキシティおよび分類精度の面で一貫した向上を示す。特に、出力層において低ランクとハッシュ化されたバイアス項を組み合わせることで顕著な改善が得られる。

ABSTRACT

Increased adaptability of RNN language models leads to improved predictions that benefit many applications. However, current methods do not take full advantage of the RNN structure. We show that the most widely-used approach to adaptation (concatenating the context with the word embedding at the input to the recurrent layer) is outperformed by a model that has some low-cost improvements: adaptation of both the hidden and output layers. and a feature hashing bias term to capture context idiosyncrasies. Experiments on language modeling and classification tasks using three different corpora demonstrate the advantages of the proposed techniques.

研究の動機と目的

• 標準的な文脈適応法が文脈埋め込みの単純な連結に依存しており、RNN構造の全表現力を活用できないという限界を是正すること。
• 文脈に基づく乗法的スケーリングを隠れ層重みに導入することで、加法的バイアスシフトのみに依存するものよりも柔軟なパラメータ適応を可能にする。
• 特徴ハッシュとBloomフィルタを用いることで、文脈依存の出力層適応のメモリコストを低減しつつ、希少または特異な文脈固有のパターンへの感受性を維持すること。
• 複数のコーパスにおける多様な言語モデル化および分類タスクにおいて、隠れ層および出力層の適応の組み合わせ効果を評価すること。

提案手法

• 文脈に依存するバイアス項を隠れ状態計算に追加するため、学習可能な文脈プロジェクション行列Fを用いた加法的文脈適応により隠れ層を適応化する。
• 文脈に依存するスケーリングベクトルCuおよびCwを用いて、入力および再帰的重み行列（UおよびS）の乗法的スケーリングを導入し、隠れ状態遷移の動的かつ非線形な適応を可能にする。
• 出力層を出力重み行列Vの低ランク近似と、文脈固有の逸脱を捉えるために学習可能なハッシュベース補正項の組み合わせでモデル化する。
• 特徴ハッシュとBloomフィルタを用いて、文脈依存バイアス補正を効率的に表現し、ハッシュ衝突を最小限に抑える。
• 低ランク出力層とハッシュ化されたバイアス項を組み合わせて、表現力と効率性のバランスを取ったハイブリッド出力適応メカニズムを構築する。
• 複数の文脈変数（例：発話者、役割、トピック）を統合したマルチレイヤーパーセプトロンから得られる文脈埋め込みを用いて、エンドツーエンドでモデルを訓練する。訓練損失は交差エントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 RNN言語モデルにおいて、標準的な加法的文脈適応と比較して、隠れ層重みの乗法的スケーリングが性能向上をもたらすか？
• RQ2 低ランク近似と特徴ハッシュ化されたバイアス項を組み合わせたハイブリッド出力層は、パープレキシティおよび分類精度の面で、標準的な低ランク出力適応を上回るか？
• RQ3 実世界のテキストデータにおいて、発話者アイデンティティやトピックといった異なる種類の文脈変数に対して、提案モデルの性能はどのように変動するか？
• RQ4 パープレキシティの向上と下流分類タスクにおける性能向上の間に乖離が生じるか。その場合、モデル設計にどのような含意があるか？

主な発見

• 提案モデル（隠れ層の乗法的スケーリングとハイブリッド出力層適応を併用）は、SCOTUS、Reddit、Twitterの3コーパスすべてにおいて、標準手法（入力に文脈を連結するのみ）を一貫して上回った。
• SCOTUSデータセットでは、乗法的隠れ層適応によりパープレキシティが1.8%低減した一方、ハイブリッド出力層適応により2.4%の低減が達成された。
• テキスト分類タスクにおいて、隠れ層および出力層の両方の適応を組み合わせた完全なモデルは、SCOTUSデータセットでベースライン比3.1%のF1スコアの絶対的向上を達成した。
• 出力層における低ランク項とハッシュ化バイアス項の組み合わせは、語彙数や文脈数が大きい場合でも、すべてのデータセットでパープレキシティの継続的向上をもたらした。
• 生成品質は高く、ビームサーチ出力では文脈固有の言語的パターンが明確に現れた（例：Justice Breyerは頻繁に"I mean"で開始し、Justice Kaganは"Well"で開始する）。これは、文脈モデリングが効果的に実行されていることを示している。
• テキスト自体から予測可能な文脈変数（例：ツイートのセンチメント）はほとんど利益をもたらさず、外部的で冗長でない文脈特徴がより効果的であることが示唆された。