[論文レビュー] A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing

Dat Quoc Nguyen|arXiv (Cornell University)|Dec 29, 2018

Natural Language Processing Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、ベトナム語の単語分離、品詞タギング、依存解析を統合的に処理する最初のニューラルマルチタスク学習モデルを提示する。このモデルは、BISTのグラフベース依存解析器を拡張し、単語分離と品詞タギングにBiLSTM-CRFアーキテクチャを適用することで、ベンチマークデータセット上で最先端または競争力のある性能を達成した。

ABSTRACT

We propose the first multi-task learning model for joint Vietnamese word segmentation, part-of-speech (POS) tagging and dependency parsing. In particular, our model extends the BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) with BiLSTM-CRF-based neural layers (Huang et al., 2015) for word segmentation and POS tagging. On Vietnamese benchmark datasets, experimental results show that our joint model obtains state-of-the-art or competitive performances.

研究の動機と目的

• パイプラインベースのベトナム語NLPシステムにおける誤り伝搬を解消するために、単語分離、品詞タギング、依存解析を統合的に学習する。
• 不完全な単語分離や品詞タギングに起因する誤りの累積的伝播を受ける独立モデルの限界を克服する。
• すべての3つのタスク間で共有表現を活用する統一されたニューラルフレームワークを構築し、全体の性能を向上させる。
• ベトナム語のような低リソースで屈曲語の特徴を持つ言語において、マルチタスク学習の有効性を示す。
• 既存のパイプライン手法を上回るスケーラブルでエンドツーエンド学習可能なアーキテクチャを提供する。

提案手法

• 音節レベルの表現を用いて、BIOタグによるシーケンスラベル付けとしてベトナム語の単語分離を定式化し、その予測にBiLSTM-CRFモデルを適用する。
• 各音節を、音節埋め込みとRDRsegmenterから得られる初期単語境界タグ埋め込みの連結で表現する。
• BiLSTM-CRFモデルを用いて単語境界を予測し、音節から分離済みの単語を生成する。
• 各分離済み単語を、単語埋め込みと音節レベルの単語埋め込みの連結で表現し、品詞タギングに活用する。
• 別のBiLSTM-CRFモデルを用いて、分離済み単語のシーケンスから品詞タグを予測する。
• 分離済み単語とその予測された品詞タグを、スコア関数を用いて候補の主語を評価するグラフベース依存解析器（BISTスタイル）に供給し、依存弧とラベルを予測する。

実験結果

リサーチクエスチョン

• RQ1 パイプラインシステムと比較して、統合ニューラルモデルがベトナム語の単語分離、品詞タギング、依存解析の性能向上に寄与するか？
• RQ2 マルチタスク学習が、ベトナム語における順次的NLPタスク間の誤り伝搬をどの程度軽減できるか？
• RQ3 CRF層と品詞タグ埋め込みの統合モデルにおける性能への寄与度はいかほどか？
• RQ4 初期単語境界タグ埋め込みを組み込むことで、分離部の正確性が向上するか？
• RQ5 統合学習による共有表現が、解析性能をどの程度向上させるか？

主な発見

• 統合モデルは、すべての3つのタスク—単語分離、品詞タギング、依存解析—において、ベトナム語のベンチマークデータセットで最先端または競争力のある結果を達成した。
• アブレーションスタディの結果、単語分離のCRF層を削除するとF1スコアが約0.3–0.4ポイント低下し、シーケンスラベル付けにおけるCRFの重要性が示された。
• 品詞タギングのCRF層をソフトマックス分類器に置き換えると、品詞タギングのF1スコアに顕著な低下が見られ、シーケンスモデリングの利点が確認された。
• 解析部における品詞タグ埋め込みを削除すると、UASとLASの両方が1.0ポイント以上低下し、解析における品詞情報の重要性が明確になった。
• パイプライン戦略（WS → POS → Dep）に比べ、統合モデルはすべてのタスクで優れた性能を示し、共有表現学習の利点を実証した。
• 初期単語境界タグをルールベース分離器から得ても、モデルは頑健で効果的であることが示され、優れた一般化能力を有していることが示された。