[論文レビュー] AttaCut: A Fast and Accurate Neural Thai Word Segmenter

Pattarawat Chormai, Ponrawee Prasertsom+1 more|arXiv (Cornell University)|Nov 16, 2019

Natural Language Processing Techniques被引用数 13

ひとこと要約

AttaCut は、文脈的な文字特徴を捉えるために拡張畳み込みニューラルネットワーク（dilated CNNs）を用い、語彙埋め込みを入力表現として使用することで、高速かつ高精度なニューラルタイ語語区切り手法を提案する。本手法は、特定のドメインにおいて、従来の最先端モデルを上回り、5.6倍以上の高速な推論速度を達成するとともに、特徴学習の向上を図る初の機械学習ベースのタイ語音節化器を導入している。

ABSTRACT

Word segmentation is a fundamental pre-processing step for Thai Natural Language Processing. The current off-the-shelf solutions are not benchmarked consistently, so it is difficult to compare their trade-offs. We conducted a speed and accuracy comparison of the popular systems on three different domains and found that the state-of-the-art deep learning system is slow and moreover does not use sub-word structures to guide the model. Here, we propose a fast and accurate neural Thai Word Segmenter that uses dilated CNN filters to capture the environment of each character and uses syllable embeddings as features. Our system runs at least 5.6x faster and outperforms the previous state-of-the-art system on some domains. In addition, we develop the first ML-based Thai orthographical syllable segmenter, which yields syllable embeddings to be used as features by the word segmenter.

研究の動機と目的

• 既存のタイ語語区切りツール間での一貫性の欠如するベンチマーク評価の問題を解決すること。
• 現在の最先端システムを上回る速度と精度を両立するニューラル語区切りモデルを開発すること。
• 意味的な音節埋め込みを入力特徴として生成するために、機械学習ベースのタイ語音節化器を導入すること。
• 多様なドメインにわたる評価を通じて、モデルの頑健性と一般化性能を評価すること。
• 語のサブワード構造（音節）がニューラル語区切り性能を向上させることを示すこと。

提案手法

• モデルは、各文字の周囲の長距離文脈的情報を捉えるために、拡張畳み込みニューラルネットワーク（dilated CNNs）を採用している。
• 音節埋め込みは、タイ語の表記ルールとデータに基づいて学習された専用のニューラル音節化器を用いて学習される。
• 語区切りモデルは、文字レベルの表現と音節埋め込みの両方を入力特徴として使用している。
• アーキテクチャは、複数のタイ語テキストドメインでエンドツーエンドに訓練され、一般化性能が向上している。
• 推論の最適化により、従来の最先端システム比で少なくとも5.6倍の高速化が達成されている。
• 精度と効率のトレードオフを評価するために、3つの異なるドメインでシステムが評価されている。

実験結果

リサーチクエスチョン

• RQ1 拡張CNNと音節埋め込みを用いたニューラル語区切りモデルは、速度と精度の両面で、既存の最先端システムを上回ることができるか？
• RQ2 文字レベルの表現のみと比較して、音節埋め込みはタイ語語区切りの特徴としてどれほど有効か？
• RQ3 サブワード構造（音節）の使用が、多様なドメインにわたる語区切り性能の向上に寄与するか？
• RQ4 一貫したベンチマーク評価下で、提案手法は市販の代替ソリューションと比較して、速度と精度の面で優れているか？
• RQ5 機械学習ベースの音節化器は、下流の語区切りタスクを支援するために効果的に訓練可能か？

主な発見

• AttaCut は、従来の最先端システム比で少なくとも5.6倍の高速な推論速度を達成している。
• 特定のドメインにおいて、前回の最先端モデルを上回り、語区切り精度が向上していることが実証された。
• ニューラル音節化器の導入により、意味的な音節埋め込みが生成され、語区切り性能が向上した。
• 拡張CNNの使用により、各文字の周囲の長距離文脈的依存関係が効果的に捉えられた。
• 3つの異なるドメインにわたる評価で、モデルは優れた一般化性能を示し、ドメインシフトに対しても頑健であることが判明した。
• 提案手法は、タイ語語区切りにおける速度-精度トレードオフの新しいベンチマークを確立した。