[論文レビュー] A Character-Word Compositional Neural Language Model for Finnish

Matti Lankinen, Hannes Heikinheimo+3 more|arXiv (Cornell University)|Dec 10, 2016

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、語彙が豊富で変形が複雑なフィンランド語のための、文字レベルの入力と語レベルの内部表現、および文字レベルの出力を組み合わせた Character-to-Word-to-Character (C2W2C) 神経言語モデルを提案する。このモデルは、語彙外の語に対して優れた性能を発揮し、文の構文的・意味的正しさを保ちながら文字単位で文を生成でき、語レベルのモデルに比べて変形語の取り扱いにおいて優れた性能を示すが、わずかに高い perplexity を示す。

ABSTRACT

Inspired by recent research, we explore ways to model the highly morphological Finnish language at the level of characters while maintaining the performance of word-level models. We propose a new Character-to-Word-to-Character (C2W2C) compositional language model that uses characters as input and output while still internally processing word level embeddings. Our preliminary experiments, using the Finnish Europarl V7 corpus, indicate that C2W2C can respond well to the challenges of morphologically rich languages such as high out of vocabulary rates, the prediction of novel words, and growing vocabulary size. Notably, the model is able to correctly score inflectional forms that are not present in the training data and sample grammatically and semantically correct Finnish sentences character by character.

研究の動機と目的

• 変形が著しく複雑で、語彙外の語の発生率が高く、語彙が急激に拡大するフィンランド語を効果的にモデル化する課題に対処すること。
• 入力と出力を文字レベルで処理するが、内部では語レベルの表現を維持する神経言語モデルを開発すること。
• 文字レベルのモデルが、学習時に見られなかった形で、フィンランド語の変形を効果的に学習し、正しい変形形を生成できるかどうかを評価すること。
• C2W2C モデルの perplexity、一般化性能、およびテキスト生成品質の観点から、従来の語レベルのLSTM言語モデルと比較すること。

提案手法

• C2W2C モデルは3段階のアーキテクチャを採用する：文字列から語表現を生成する、双方向LSTMに基づく Character-to-Word (C2W) エンコーダ。
• 語レベルの表現を処理し、文脈における次の語を予測する、標準のLSTM言語モデルを採用する。
• Cho ら [5] にインspired された、予測された語表現に基づいて出力文字を生成する Word-to-Character (W2C) デコーダ。
• 事前処理としてのサブワードトークン化や語分類を必要とせず、エンド・ツー・エンドの学習が可能である。
• アーキテクチャにより、各コンponentの独立した学習が可能であり、逐次スコアリングとテキスト生成の両方をサポートする。
• テキスト生成は、k=20 の語ビームと k=10 の文ビームを用いたビームサーチによって実施され、文の流暢さと文法的正確性が向上する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの語彙に依存せずに、フィンランド語の変形の複雑さを文字レベルの言語モデルが効果的に処理できるか？
• RQ2 C2W2C モデルは、学習データに存在しない語彙外の変形形に対して、どのように性能を発揮するか？
• RQ3 学習データにない変形形であっても、文法的に誤った文は正しい文よりも著しく低いスコアを割り当てるか？
• RQ4 文字単位でサンプリングする際、モデルは流暢で意味的に整合性のあるフィンランド語のテキストを生成できるか？
• RQ5 C2W2C モデルは、標準の語レベルLSTMモデルと比較して、perplexity と収束速度の観点でどのように異なるか？

主な発見

• C2W2C モデルは、学習データにない変形形を含む文法的に正しいフィンランド語の文に対して、誤った文よりも低いスコアを割り当てる。
• ビームサーチを用いることで、意味的・文法的に正しいフィンランド語の文を文字単位で生成でき、確率的サンプリングに比べて著しく流暢な出力が得られる。
• わずかに高い perplexity と遅い収束速度を示すものの、語彙外の語を効果的に処理し、未学習の変形形に対しても一般化できる。
• モデルは正しい語の役割（例：動詞の主語）に対してより良いスコアを割り当て、誤った語順や品詞の置き換えに対してペナルティを科す。
• 句読点の処理は依然として課題であり、疑問文の文脈でもピリオドを質問符よりも好む傾向がある。
• 文字レベルのモデリングに内部の語レベル表現を組み合わせることで、フィンランド語のような変形が複雑な言語に対しても有効であることが示され、パラメータ数を削減しながらも言語的一般化能力を維持できる。