[論文レビュー] Cross-lingual Word Segmentation and Morpheme Segmentation as Sequence Labelling

Yan Shao|arXiv (Cornell University)|Sep 12, 2017

Natural Language Processing Techniques参考文献 16被引用数 5

ひとこと要約

本論文は、双方向RNNとCRF（BiRNN-CRF）を用いて、言語間の語区切りとフォノーム区切りの両方を文字レベルの系列ラベル付けタスクとして扱う、普遍的でデータ駆動型のニューラル系列ラベル付けモデルを提案する。このモデルは、言語固有のチューニングなしで多様な言語で最先端の性能を達成し、フォノーム区切りで顕著な向上を示し、アンサンブルデコーディングによりわずかな改善が得られる。これは、低リソースおよび高リソースの設定においても強力な一般化性能を示している。

ABSTRACT

This paper presents our segmentation system developed for the MLP 2017 shared tasks on cross-lingual word segmentation and morpheme segmentation. We model both word and morpheme segmentation as character-level sequence labelling tasks. The prevalent bidirectional recurrent neural network with conditional random fields as the output interface is adapted as the baseline system, which is further improved via ensemble decoding. Our universal system is applied to and extensively evaluated on all the official data sets without any language-specific adjustment. The official evaluation results indicate that the proposed model achieves outstanding accuracies both for word and morpheme segmentation on all the languages in various types when compared to the other participating systems.

研究の動機と目的

• 多様な言語で語区切りとフォノーム区切りの両方を統一したニューラルモデルとして開発すること。
• スペースで区切られていない言語（中国語、日本語、トルコ語など）における語境界およびフォノーム境界の検出という課題に対処すること。
• タスクや言語固有の適応なしに、低リソースおよび高リソース言語におけるモデルの一般化性能を評価すること。
• アンサンブルデコーディングを用いて精度を向上させつつ、単一の普遍的アーキテクチャを維持すること。
• 言語間転送学習を用いて、低リソース言語への適用可能性を検討すること。

提案手法

• 文脈特徴を符号化するために、3-gram文字表現を用いた文字レベルのBiRNN-CRFアーキテクチャを採用する。
• 正則化のため、入力および隠れ表現にドロップアウトを適用する。
• タグ間の遷移スコアをモデル化するために1階層のチェーンCRF層を用い、Viterbiアルゴリズムによりグローバルに最適なタグ系列を保証する。
• 語境界を表すための'X'をタグセットに追加することで、語区切りとフォノーム区切りの統合的モデリングを可能にする。
• 予測の整合性と精度を向上させるために、複数のモデルの予測を組み合わせるアンサンブルデコーディングを適用する。
• モデルは文字列に対してエンドツーエンドで学習され、区切りタグ（B, I, E, S, X）の予測を行う。

実験結果

リサーチクエスチョン

• RQ1 1つの普遍的ニューラル系列ラベル付けモデルが、多様な言語で語区切りとフォノーム区切りの両方を効果的に処理できるか。
• RQ2 BiRNN-CRFモデルは、既存のシステムと比較して、低リソースフォノーム区切りタスクでどの程度の性能を示すか。
• RQ3 アンサンブルデコーディングは、異なる言語およびデータサイズにおいて、どの程度精度を向上させるか。
• RQ4 文字レベルの表現とCRFデコーディングは、明確な語区切りがない言語における境界検出にどのように寄与するか。
• RQ5 言語固有の適応なしに、語彙的に豊富で合成語が多用される言語（アグルーティブ言語）に対しても、モデルは効果的に一般化できるか。

主な発見

• BiRNN-CRFモデルは、MLP 2017共同タスクの全10言語で最先端のF1スコアを達成し、カザフスタン語で97.5、ウイグル語*で97.2（修正済み）の最高F1を記録した。
• フォノーム区切りにおいて、参加した全システムを上回り、特に訓練データが限られたバスク語やペルシャ語において顕著な優位性を示した。
• アンサンブルデコーディングにより一貫したがわずかな改善が得られ、バスク語やペルシャ語では最大+0.5 F1の向上が見られた。
• 語区切りにおいても、OOV率が高く、複雑な書記体系を持つ日本語および中国語では、95％以上のF1を達成した。
• モデルの性能は訓練データ量に強く依存しており、バスク語やペルシャ語のような低リソース言語ではフォノーム区切りの精度が著しく低下した。
• 修正済みのウイグル語*の結果では、F1が64.3から97.2に顕著に向上した。これは、初期の性能不良がモデルの限界ではなく、エンコードエラーに起因していたことを示している。