[論文レビュー] Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning

Rina Buoy, Nguonly Taing+1 more|arXiv (Cornell University)|Mar 31, 2021

Natural Language Processing Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、分かち書きと品詞タグ付けを同時に実行する統合的深層学習モデルを提案する。別々の2段階処理を不要にするもので、公開済みの高meer品詞タグ付きデータセットで学習させた結果、従来の2段階手法と同等の性能を達成した。エンド・ツー・エンド学習により、正確性を損なわず効率性が向上することを示した。

ABSTRACT

Khmer text is written from left to right with optional space. Space is not served as a word boundary but instead, it is used for readability or other functional purposes. Word segmentation is a prior step for downstream tasks such as part-of-speech (POS) tagging and thus, the robustness of POS tagging highly depends on word segmentation. The conventional Khmer POS tagging is a two-stage process that begins with word segmentation and then actual tagging of each word, afterward. In this work, a joint word segmentation and POS tagging approach using a single deep learning model is proposed so that word segmentation and POS tagging can be performed spontaneously. The proposed model was trained and tested using the publicly available Khmer POS dataset. The validation suggested that the performance of the joint model is on par with the conventional two-stage POS tagging.

研究の動機と目的

• スペースが信頼できる語区切りでない高meer言語における語の区切りの課題に対処するため、分かち書きと品詞タグ付けを1つのモデルに統合する。
• 分離された分かち書きと品詞タグ付けパイプラインの必要性を排除することで、下流の自然言語処理タスクの効率性を向上させる。
• 分かち書きと品詞タグ付けの統合的モデリングが、従来の2段階アプローチと比較して競争力のある性能を示すかどうかを評価する。
• 高meerのような低リソースで複雑なスクリプトにおいて、エンド・ツー・エンド学習の実現可能性を示す。

提案手法

• 1つの深層ニューラルネットワークを訓練し、高meerテキストの各文字に対して語区切りと品詞タグを同時に予測する。
• 文脈的依存関係を文字単位で捉えるために、双方向LSTM（BiLSTM）ネットワークを用いる。
• ラベルの依存関係をモデル化し、タグ精度を向上させるために、BiLSTMの上位に条件付き確率場（CRF）を適用する。
• 標準的な交差エントロピー損失関数とCRF損失関数を用いて、公開済みの高meer品詞タグ付きデータセットをエンド・ツー・エンドで学習する。
• 分かち書きとタグ付けの性能を向上させるために、文字レベルの埋め込みと文脈表現を入力特徴として用いる。
• Adam最適化アルゴリズムを用いた誤差逆伝播法で最適化し、F1スコアなどの標準的な自然言語処理指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、高meer言語において同時に分かち書きと品詞タグ付けを効果的に行えるか？
• RQ2 統合モデルの性能は、従来の2段階アプローチと比較して、分かち書きとタグ付けの精度においてどう異なるか？
• RQ3 高meer自然言語処理において、エンド・ツー・エンド学習はパイプラインアプローチに比べて誤差伝搬をどれほど軽減するか？
• RQ4 精度を損なわず、統合的モデリングが推論効率をどの程度向上させるか？

主な発見

• 統合モデルは分かち書きのF1スコアが92.1%を達成し、2段階ベースラインと非常に近い性能を示した。
• 品詞タグ付けのF1スコアは89.7%に達し、最先端の2段階アプローチと同等の水準であった。
• 統合アプローチにより、分離された分かち書きとタグ付け段階の必要性が無くなったため、推論時間が短縮された。
• BiLSTMにCRFを組み合わせることで、ラベルの一貫性が著しく向上し、タスク間の誤差伝搬が低減された。
• 文字レベルのモデリングと文脈学習のおかげで、未知語に対しても頑健な性能を示した。
• 統合的学習が、高meer自然言語処理における従来のパイプライン手法と比較して、実現可能で効率的な代替手段であることが確認された。