[論文レビュー] Improving historical spelling normalization with bi-directional LSTMs and multi-task learning

Marcel Bollmann, Anders Søgaard|arXiv (Cornell University)|Oct 25, 2016

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、限られた学習データでもCRFおよびNormaベースラインを上回る性能を示す、初期新高ドイツ語における歴史的綴り統一のための文字レベル双向LSTMモデルを提案する。追加の正規化データを用いたマルチタスク学習により性能が向上し、補助データの監視と組み合わせた深層ニューラルネットワークが、リソースが限られた歴史的NLPタスクにおいて有効であることを示している。

ABSTRACT

Natural-language processing of historical documents is complicated by the abundance of variant spellings and lack of annotated data. A common approach is to normalize the spelling of historical words to modern forms. We explore the suitability of a deep neural network architecture for this task, particularly a deep bi-LSTM network applied on a character level. Our model compares well to previously established normalization algorithms when evaluated on a diverse set of texts from Early New High German. We show that multi-task learning with additional normalization data can improve our model's performance further.

研究の動機と目的

• 注釈付きデータが乏しく、綴りのばらつきが著しいという課題に起因するリソースが限られた歴史的綴り統一の課題に対処すること。
• 深層バイ・LSTMネットワークが歴史的テキスト正規化における文字レベルのシーケンスラベル付けに適しているかどうかを評価すること。
• 従来のデータ拡張と比較して、補助正規化データを用いたマルチタスク学習がモデル性能を向上させるかどうかを調査すること。
• 提案モデルをCRFやNormaツールといった既存手法と比較し、多様な初期新高ドイツ語テキスト上で評価すること。

提案手法

• モデルは、過去および未来の文字からの文脈的依存関係を捉えるために、双方向LSTMを用いて綴り統一を文字レベルのシーケンスラベル付けタスクとして定式化する。
• 入力シーケンスは、すべての文字を小文字に変換し、各単語に特別な語頭記号‘_’を追加することで事前処理される。
• 歴史的形態と正規化形との間の文字レベルのアラインメントは、繰り返しLevenshtein距離アラインメントと同時確率情報（pointwise mutual information）を用いて生成され、言語学的に妥当な一致を優先する。
• 未アラインされた歴史的文字を表すために、エプシロン（ε）ラベルが使用され、正規化された文字がどの歴史的文字に対してもアラインされていない場合には、左方向へのマージが行われる。
• マルチタスク学習は、主な正規化タスクと、追加の類似したが同一でない歴史的テキストを用いた補助正規化タスクを同時に学習することで実装される。
• 追加の実験として、グラフィムから発音への変換を補助タスクとして検討したが、有意な改善は得られなかった。

実験結果

リサーチクエスチョン

• RQ1 リソースが限られた歴史的綴り統一タスクにおいて、深層バイ・LSTMモデルがCRFおよびNormaを上回る性能を達成できるか？
• RQ2 追加の正規化データを用いたマルチタスク学習は、単純なデータ連結よりも精度を向上させるか？
• RQ3 マルチタスク学習の利点は、ターゲットタスクと類似した言語的特徴を持つデータに特異的か？
• RQ4 グラフィムから発音への変換のような補助タスクは、マルチタスク設定において正規化性能を向上させるか？

主な発見

• バイ・LSTMモデルは、Anselmコーパスに含まれる44のテキストのうち42でCRFベースラインおよびNormaツールを上回り、多様な初期新高ドイツ語テキストにおける強力な一般化性能を示している。
• わずか1,000トークンの学習データでも競争力のある結果を達成しており、データが少ない環境でも有効であることが示された。
• 補助正規化データを用いたマルチタスク学習は、単純なデータ連結を超えて精度を向上させ、CRFやNormaではその恩恵が得られていない。
• マルチタスク学習の効果は、類似した言語的特徴を持つデータに特異的である：グラフィムから発音への変換を補助タスクとして用いた場合、平均で0.4パーセンテージポイントの性能低下が見られた。
• モデルの性能は、方言的および時代的特徴が異なるテキストに対しても安定しており、綴りのばらつきに強く一般化できることが示された。
• 同時確率情報を利用した繰り返しLevenshteinアラインメントにより、アラインメント品質が向上し、より正確なシーケンスラベル付けが可能になった。