[論文レビュー] Part-of-Speech Tagging for Historical English

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Mar 10, 2016

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

この論文は、歴史的英語における品詞タギングのための教師なしドメイン適応を評価し、特徴空間全体をモデル化する特徴埋め込み（Feature Embedding）という手法を導入している。この手法は単語埋め込みやブラウンクラスタリングを上回り、綴りの正規化を組み合わせることで初期近代英語において5%の正確性向上を達成し、未知語素（OOV）トークンの誤りを顕著に低減している。

ABSTRACT

As more historical texts are digitized, there is interest in applying natural language processing tools to these archives. However, the performance of these tools is often unsatisfactory, due to language change and genre differences. Spelling normalization heuristics are the dominant solution for dealing with historical texts, but this approach fails to account for changes in usage and vocabulary. In this empirical paper, we assess the capability of domain adaptation techniques to cope with historical texts, focusing on the classic benchmark task of part-of-speech tagging. We evaluate several domain adaptation methods on the task of tagging Early Modern English and Modern British English texts in the Penn Corpora of Historical English. We demonstrate that the Feature Embedding method for unsupervised domain adaptation outperforms word embeddings and Brown clusters, showing the importance of embedding the entire feature space, rather than just individual words. Feature Embeddings also give better performance than spelling normalization, but the combination of the two methods is better still, yielding a 5% raw improvement in tagging accuracy on Early Modern English texts.

研究の動機と目的

• 綴り、活用形、文法的構造の変化といった言語的変化により、歴史的英語テキストにおける品詞タギングの正確性が低下する問題に対処すること。
• ターゲットドメインにラベル付きデータが存在しない状況でも、教師なしドメイン適応が歴史的コーパスにおけるタギング性能を向上させることを評価すること。
• 歴史的NLPにおける主要だが不完全な解決策である綴り正規化と、ドメイン適応の有効性を比較すること。
• ドメイン適応と正規化を組み合わせることで、タギング正確性に相乗効果が得られるかどうかを調査すること。
• 歴史的品詞タギングにおける主な誤り要因、特にタグセットの不一致と未知語素（OOV）トークンを分析すること。

提案手法

• 特徴ベクトルの整合性を保ちながら、ソース（現代英語）ドメインとターゲット（歴史的英語）ドメインの間で共有表現空間を学習するFema（特徴埋め込みを用いた多属性ドメイン適応）アルゴリズムを適用する。
• 局所的文脈（左・右の語）と語形を含む特徴テンプレートを用いて、ドメイン適応のための入力表現を構築する。
• 特徴埋め込みを用いた教師なしドメイン適応を実装し、ドメイン間の差を最小化することでドメイン不変の表現を促進するとともに、予測性能を維持する。
• Penn Treebank（PTB）でトレーニングされたシーケンスタッパー（Stanford CoreNLP）を、Penn-Helsinki Parsed Corpus of Early Modern English（PPCEME）およびPenn Parsed Corpus of Modern British English（PPCMBE）に適応する。
• ドメイン適応とVARDシステムによる綴り正規化を組み合わせ、相乗効果を評価する。
• 標準的な品詞タギング指標（語彙内（IV）および未知語彙外（OOV）トークンの正確性、全体の正確性）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な現代コーパスでトレーニングされたモデルと比較して、教師なしドメイン適応が初期近代英語テキストにおける品詞タギング正確性を顕著に向上させられるか？
• RQ2 特徴埋め込みの性能は、単語埋め込み、ブラウンクラスタリング、および他のドメイン適応手法と比較して、歴史的英語品詞タギングにおいてどのように差がつくか？
• RQ3 綴り正規化とドメイン適応は、正確性向上の観点でどの程度相乗効果を示すか？
• RQ4 歴史的品詞タギングにおける主な誤り要因は何か？ドメイン適応と正規化はそれらにどのように影響を与えるか？
• RQ5 著者やジャンルなどのメタデータを用いた多属性ドメイン適応は、単一ドメイン適応よりもさらなる向上をもたらすか？

主な発見

• 特徴埋め込み手法は、Penn Treebankから適応した場合、PPCEMEで全体で77.92%の正確性を達成し、word2vec（75.85%）、ブラウンクラスタリング（76.04%）、SCL（75.89%）を上回った。
• ドメイン適応は、時間的適応設定（現代英国英語から初期近代英語への適応）において誤り率を30%低減し、ベースラインより4%の絶対的正確性向上を達成した。
• VARDによる綴り正規化は60,928個の誤りトークンを是正したが、そのうちの38%しかFema -attributeで是正されなかったため、両者には顕著な補完性があることが示された。
• Fema -attributeとVARD正規化の組み合わせにより、初期近代英語テキストにおける品詞タギング正確性がベースライン分類器と比較して5%の実質的向上を達成した。
• 誤り分析の結果、語彙内トークンで最も頻出する誤りの70%は、OOV問題ではなくタグセットの不一致やアノテーションガイドラインの違いに起因していることが判明した。
• ドメイン適応は未知語彙トークンにおいて最大の向上を示し（Fema -attributeで63.16%の正確性）、希少語や未知語形の処理において特に有効であることが強調された。