[論文レビュー] A Fast and Accurate Vietnamese Word Segmenter

Dat Quoc Nguyen, Dai Quoc Nguyen+3 more|arXiv (Cornell University)|Sep 19, 2017

Natural Language Processing Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、初期の最長一致分離器からの誤りを段階的に是正する単一分類リップルダウンルール（SCRDR）に基づく高速かつ高精度なベトナム語語区切り手法RDRsegmenterを提案する。ベンチマーク用のベトナム語ツリー・バンクにおいて、最先端のF1スコア97.90％を達成し、精度と速度の両面で先行手法を上回っている。1秒間に62,000語を処理する高速性を備え、オープンソースであり、類似した区切り課題を有する他の言語への適応も可能である。

ABSTRACT

We propose a novel approach to Vietnamese word segmentation. Our approach is based on the Single Classification Ripple Down Rules methodology (Compton and Jansen, 1990), where rules are stored in an exception structure and new rules are only added to correct segmentation errors given by existing rules. Experimental results on the benchmark Vietnamese treebank show that our approach outperforms previous state-of-the-art approaches JVnSegmenter, vnTokenizer, DongDu and UETsegmenter in terms of both accuracy and performance speed. Our code is open-source and available at: https://github.com/datquocnguyen/RDRsegmenter.

研究の動機と目的

• スペースが語区切りを弱く示すため、音節レベルのスペースが用いられるベトナム語の語区切り課題に対処すること。
• 分離精度と処理速度の両面で、既存の最先端手法を改善すること。
• 単一分類リップルダウンルール（SCRDR）構造を用いて、誤りを段階的に是正するエラー駆動型で自動的なルール学習システムを開発すること。
• 中国語や日本語のように、音節や文字が語区切りを必要とする他の言語に対しても適応可能な言語に依存しないフレームワークを構築すること。

提案手法

• 最初に、最長一致に基づく初期分離器を用いてベースラインの分離結果を生成する。
• 次に、単一分類リップルダウンルール（SCRDR）ツリーを用いて、エラー駆動型学習プロセスを適用し、分離誤りを特定・是正する。
• 各不正な分離結果が、'if-then'ルールと2種類のエッジ（'except' および 'if-not'）を持つSCRDRツリーに新しい例外ルールを自動的に追加する。
• ルールはトップダウンの順序で評価され、葉ノードに至るパスで最後に満たされたルールが最終意思決定を決定する。
• しきい値ベースのルール pruning 機構を用い、開発セットのチューニングにより最適なしきい値2が特定された。
• 最終モデルは75,000文のデータで学習され、1,447個のルールを生成し、高い効率性と精度を達成した。

実験結果

リサーチクエスチョン

• RQ1 エラー駆動型でルールベースのシステムとしてSCRDRを用いることで、既存の最先端手法よりも高い精度でベトナム語語区切りを達成できるか？
• RQ2 ベースラインモデルと比較して、SCRDRベースの手法の性能は、学習データサイズの変化にどのように応じて変化するか？
• RQ3 特にCRF、SVM、およびポイントワイズ予測モデルと比較して、分離精度を向上させつつも、高い速度を維持できるか？
• RQ4 SCRDRベースのアプローチは、中国語や日本語のように類似した区切り課題を有する他の言語に対しても、どれほど言語に依存せず、移植可能か？

主な発見

• RDRsegmenterは、ベンチマーク用のベトナム語ツリー・バンクにおいてF1スコア97.90％を達成し、すべての先行手法を上回った。
• 同じ語彙を用いても、vnTokenizerより0.57ポイント高いF1スコアを達成しており、エラー駆動型ルール学習の有効性を示している。
• UETsegmenterと比較して1.3倍高速であり、単一スレッドのIntel Core i7 2.2 GHzシステムで1秒間に62,000語を処理した。
• RDRsegmenterは、小規模な学習データでも優れた性能を示しており、9.5,000文の学習文でさえ、UETsegmenterを常に上回るF1スコアを記録した。
• モデルのロードにわずか50ミリ秒で完了し、UETsegmenterの10秒と比べて著しく高速であり、実装時の効率性が顕著に示された。
• このアプローチは一般化可能であり、中国語や日本語のように音節や文字の区切りが必要な言語に対しても、同様の課題に適応可能である。