[論文レビュー] Log-Linear RNNs: Towards Recurrent Neural Networks with Flexible Prior Knowledge

Marc Dymetman, Chunyang Xiao|arXiv (Cornell University)|Jul 8, 2016

Natural Language Processing Techniques参考文献 26被引用数 7

ひとこと要約

この論文は、標準的なソフトマックス出力層に代わって対数線形出力層を採用する再帰的ニューラルネットワーク（LL-RNN）を紹介する。これにより、モーフォロジカル特徴などのモジュラー特徴を通じて柔軟に事前知識を統合可能となり、稀なまたは未観測の語形の間で効果的に一般化することで、フランス語言語モデルのパープレクサリティを低減する。このアプローチは、RNNの表現学習能力と対数線形モデルの特徴工学の強みを組み合わせる。

ABSTRACT

We introduce LL-RNNs (Log-Linear RNNs), an extension of Recurrent Neural Networks that replaces the softmax output layer by a log-linear output layer, of which the softmax is a special case. This conceptually simple move has two main advantages. First, it allows the learner to combat training data sparsity by allowing it to model words (or more generally, output symbols) as complex combinations of attributes without requiring that each combination is directly observed in the training data (as the softmax does). Second, it permits the inclusion of flexible prior knowledge in the form of a priori specified modular features, where the neural network component learns to dynamically control the weights of a log-linear distribution exploiting these features. We conduct experiments in the domain of language modelling of French, that exploit morphological prior knowledge and show an important decrease in perplexity relative to a baseline RNN. We provide other motivating iillustrations, and finally argue that the log-linear and the neural-network components contribute complementary strengths to the LL-RNN: the LL aspect allows the model to incorporate rich prior knowledge, while the NN aspect, according to the "representation learning" paradigm, allows the model to discover novel combination of characteristics.

研究の動機と目的

• 稀なまたは未観測の語形の間での一般化を可能にすることで、系列モデルにおけるデータスパarsityを緩和すること。
• 文脈に応じて動的に重み付け可能な、事前知識（例：語彙的・意味的特徴）を原理的かつ柔軟にRNNに統合すること。
• ニューラルネットワークの表現学習能力と対数線形モデルの特徴結合の強みを組み合わせること。
• 語形を独立した記号としてではなく、属性の組み合わせとしてモデル化することで、'未知'トークンへの依存度を低減すること。
• RNNの隠れ状態を用いて、事前に定義された特徴の動的かつ文脈依存的な重み付けを可能にすること。

提案手法

• RNNの標準的なソフトマックス出力層を、出力分布が $ p(y|\mathbf{h}) = \frac{1}{Z} \exp\left(\sum_{i} a_i(\mathbf{h}) \cdot \phi_i(y) \right) $ とパラメータ化される対数線形出力層に置き換える。ここで $ \mathbf{h} $ はRNNの隠れ状態を表す。
• LSTMやGRUなどのニューラルネットワークを用いて、活性化ベクトル $ \mathbf{a}_{\theta,t} = g_{\theta}(h_t) $ を計算し、これにより対数線形特徴の重みを動的に制御する。
• 出力特徴 $ \phi_i(y) $ を、記号的出力（例：語彙的タグ、意味的クラス）上のインジケータ関数として定義することで、関連する語形間での一般化を可能にする。
• 背景特徴 $ b $ とモジュラー特徴 $ \psi $ を組み込み、必要な数値形式や意味的制約といった事前知識を符号化する。
• RNN部が文脈に応じて特徴重みを調整できるように、エンドツーエンドでクロスエントロピー損失を用いてモデルを学習する。
• ソフトマックスが特別な場合である条件付き指数型分布族の枠組みを採用することで、固定語彙出力にとどまらない原理的な一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける対数線形出力層は、稀なまたは未観測の語形の間での一般化を可能にすることで、言語モデルのパープレクサリティを低減できるか？
• RQ2 訓練データにすべての語形が明示的に現れていなくても、語彙的または意味的特徴といった事前知識をRNNに効果的に統合できるか？
• RQ3 RNNが特徴の重みを動的に制御することで、固定重みの対数線形モデルや標準的なソフトマックスベースのRNNと比較して、性能がどの程度向上するか？
• RQ4 モデルは、文脈に応じて適切な場合にのみ、特定の特徴（例：会話における数値挿入）を活性化させることができるか？
• RQ5 ニューラル表現学習と対数線形特徴結合の相乗効果は、モデルの表現能力をどの程度向上させるか？

主な発見

• LL-RNNモデルは、標準的なRNNベースラインと比較して、フランス語言語モデリングタスクで顕著なパープレクサリティの低減を達成し、希少語の一般化能力が向上したことが示された。
• 対数線形特徴による語彙的事前知識の統合により、学習データにあまり含まれない屈曲語形の性能が向上した。
• 共通の特徴表現を通じた語形間の一般化により、'未知'トークンへの依存度が顕著に低減された。
• RNNによる特徴重みの動的制御により、文脈に応じた特徴活性化（例：文脈に応じて必要な場合にのみ特定の数値を挿入）が効果的に実現された。
• 対数線形出力層は、より少ないパラメータで複雑な出力分布をモデル化できるため、ソフトマックスに比べてより効率的なパrameterizationを可能にした。
• このアプローチは、ニューラルネットワークの強み（表現学習）と対数線形モデルの強み（事前知識統合）を効果的に組み合わせ、テストされた設定で両者を独立して使用した場合を上回る性能を達成した。