[論文レビュー] Neural Semi-Markov Conditional Random Fields forRobust Character-Based Part-of-Speech Tagging

Apostolos Kemos, Heike Adel+1 more|arXiv (Cornell University)|Aug 13, 2018

Natural Language Processing Techniques参考文献 35被引用数 3

ひとこと要約

本稿では、トークナイゼーションに依存せずに、分割とラベル付けを統合的に学習するエンド・ツー・エンドのニューラル半マルコフ条件付き確率場（semi-CRF）を、文字レベルの品詞（POS）タギングのために提案する。双方向LSTMとゲート付き畳み込みネットワークを用いて、文字およびセグメンテーション表現をモデル化し、複数言語で最先端の性能を達成し、ノイズが多い、破損したトークナイゼーションデータにおいても、従来のトークンベースのモデルを著しく上回る。

ABSTRACT

Character-level models of tokens have been shown to be effective at dealing with within-token noise and out-of-vocabulary words. But these models still rely on correct token boundaries. In this paper, we propose a novel end-to-end character-level model and demonstrate its effectiveness in multilingual settings and when token boundaries are noisy. Our model is a semi-Markov conditional random field with neural networks for character and segment representation. It requires no tokenizer. The model matches state-of-the-art baselines for various languages and significantly outperforms them on a noisy English version of a part-of-speech tagging benchmark dataset. Our code and the noisy dataset are publicly available at http://cistern.cis.lmu.de/semiCRF.

研究の動機と目的

• 外部のトークナイザーに依存しない真のエンド・ツー・エンドの文字レベルPOSタガーの開発。
• 特に低リソース言語や語形変化が複雑な言語において、ノイズが多いまたは破損したトークナイゼーションに対して耐性を持つことの向上。
• ニューラル表現を用いた半マルコフCRFフレームワーク内で、分割とラベル付けを統合的に学習すること。
• 中国語、日本語、ベトナム語、英語を含む、タイプロジカルに多様な言語において、有効性を示すこと。
• 再現可能性および今後の研究のため、公開可能なコードとノイズのあるベンチマークデータセットを提供すること。

提案手法

• モデルはワンホットエンコーディングを用いて生の文字列を処理し、双方向LSTMを用いて文字埋め込みを学習する。
• 空白文字は、隣接する空白を示すバイナリ特徴としてエンコードされ、語彙から除外される。
• 文字埋め込み上にゲート付き畳み込みネットワーク（grConv）を用いてセグメンテーション表現を計算し、構成的構造を捉える。
• ニューラル半マルコフCRFは、セグメンテーションスコア（学習されたパラメータ）とラベル間の遷移スコアを用いて、分割とPOSラベル付けの同時モデル化を行う。
• 学習にはログ空間でのフォワードアルゴリズム、推論にはバイテルビデコーディングアルゴリズムを用いる。
• バックプロパゲーションを用いてエンド・ツー・エンドで訓練され、分割とラベル付けの正確性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 事前トークナイゼーション入力に依存せずに、文字レベルのシーケンスタグガーが最先端の性能を達成できるか？
• RQ2 トークン境界が破損している場合に、モデルはノイズのあるトークナイゼーション環境でどのように動作するか？
• RQ3 分割とラベル付けの統合的学習は、低リソース言語や語形変化が複雑な言語において、耐性を向上させるか？
• RQ4 清浄データおよびノイズのあるデータの両方において、UDpipe+MarMotなどの強力なベースラインと比較して、モデルはどのように性能を発揮するか？
• RQ5 中国語（空白なし）やベトナム語（音節的セグメンテーション）のように、トークナイゼーションパターンが異なる言語に、モデルは一般化できるか？

主な発見

• 本モデルは、英語、中国語、日本語、ベトナム語を含む複数言語において、ユニバーサル・デベロップメント（Universal Dependencies）データセットで最先端のF1スコアを達成した。
• 清浄な英語データセットでは、トークンF1が98.69%、POS正確度が94.27%に達し、従来の手法を上回った。
• ランダムに破損させたトークナイゼーションを含む英語データセットのノイズ版では、モデルは95.45%のPOS正確度を維持したが、UDpipe+MarMotは18.05%まで低下した。
• モデルはトークナイゼーションのノイズに対して強く、高レベルのノイズ下でもわずかな性能低下にとどまり、それとは対照的に、トークンベースのモデルは著しく劣化した。
• 半マルコフCRFの使用により、分割とラベル付けの同時最適化が可能となり、局所的決定の見直しが可能で、全体の整合性が向上した。
• 多様なトークナイゼーション課題を有する言語間で、モデルの性能は安定しており、一般化能力が確認された。