[論文レビュー] Is Word Segmentation Necessary for Deep Learning of Chinese Representations?

Xiaoya Li, Yuxian Meng+4 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 51被引用数 20

ひとこと要約

この論文は、深層学習ベースの中国語NLPにおいて中国語語彙分割（CWS）が必要かどうかを、4つのタスクにわたる語彙ベースモデルと文字ベースモデルの比較を通じて調査している。データスパarsityの低減、OOV語の減少、過学習の低減により、文字ベースモデルが一貫して語彙ベースモデルを上回ることを発見した。これは、現代の深層学習環境ではCWSが必ずしも不可欠ではない可能性を示唆している。

ABSTRACT

Segmenting a chunk of text into words is usually the first step of processing Chinese text, but its necessity has rarely been explored. In this paper, we ask the fundamental question of whether Chinese word segmentation (CWS) is necessary for deep learning-based Chinese Natural Language Processing. We benchmark neural word-based models which rely on word segmentation against neural char-based models which do not involve word segmentation in four end-to-end NLP benchmark tasks: language modeling, machine translation, sentence matching/paraphrase and text classification. Through direct comparisons between these two types of models, we find that char-based models consistently outperform word-based models. Based on these observations, we conduct comprehensive experiments to study why word-based models underperform char-based models in these deep learning-based NLP tasks. We show that it is because word-based models are more vulnerable to data sparsity and the presence of out-of-vocabulary (OOV) words, and thus more prone to overfitting. We hope this paper could encourage researchers in the community to rethink the necessity of word segmentation in deep learning-based Chinese Natural Language Processing. \footnote{Yuxian Meng and Xiaoya Li contributed equally to this paper.}

研究の動機と目的

• 深層学習ベースの中国語NLPにおいて中国語語彙分割（CWS）が本当に必要かどうかを検証すること。
• CWSに依存する語彙ベースモデルとCWSを必要としない文字ベースモデルの、エンドツーエンドNLPタスクにおける性能を比較すること。
• 語彙ベースモデルの性能不足の根本的原因を、データスパarsity、OOV語、過学習の観点から調査すること。
• 中国語の深層学習においてCWSが表現学習を改善するとする長年の仮定を再考すること。

提案手法

• 言語モデリング、機械翻訳、文脈一致、テキスト分類の4つのエンドツーエンドNLPタスクにわたる、語彙ベースおよび文字ベースのニューラルモデルのベンチマーク評価。
• 語彙サイズとOOV率を制御するための頻度閾値を用い、モデル間の制御された比較を可能にした。
• ドロップアウト正則化を適用し、その影響を分析することで、過学習の傾向を評価した。
• 意味的類似文における語と文字の間のアライメントを比較するため、意味的一致タスクにおける注意メカニズムを可視化した。
• OOV語を含む文をさまざまな頻度閾値で除外することで、OOVの影響を分離してモデル性能に与える影響を特定した。
• 語と文字の頻度分布を分析し、データスパarsityの定量的評価と、それがモデル学習に与える影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの中国語NLPタスクにおいて、語彙分割が一貫した性能優位性を提供するか？
• RQ2 語彙ベースモデルが文字ベースモデルに比べて性能が劣る主な要因は何か？
• RQ3 語彙外語（OOV）語とデータスパarsityは、モデルの一般化性能と過学習にどの程度影響を与えるか？
• RQ4 OOV語の削減によって、語彙ベースモデルと文字ベースモデルの性能格差を是正できるか？
• RQ5 ラベル付きCWSデータセットは、下流NLPタスクにおいて真に有益なのか、それとも深層学習環境では冗長なのか？

主な発見

• 文字ベースモデルは、言語モデリング、機械翻訳、文脈一致、テキスト分類の4つのベンチマークタスクすべてで一貫して語彙ベースモデルを上回った。
• 最良の文字ベースモデルはBQ意味的一致タスクで80.82の正確度を達成し、最良の語彙ベースモデル（80.65）を、最適なドロップアウト率（0.5 vs. 0.3）で上回った。
• 語彙ベースモデルは深刻な過学習を示しており、文字ベースモデル（0.3）よりも高いドロップアウト率（0.5）を必要としており、データスパarsityにさらなる脆弱性があることが示された。
• 訓練データからOOV語を除外することで、語彙ベースモデルと文字ベースモデルの性能格差は縮まったが、特に高い頻度閾値においても文字ベースモデルが優位に立った。
• 語彙ベースモデルは高いデータスパarsityを示しており、異なる語彙の48.7％が一度しか出現せず、コーパス全体の4.0％にしか寄与しないため、パラメータ学習が不十分で過学習が生じやすい。
• 可視化により、文字ベースモデルは意味的に類似する文字（例：利息）を文間でより適切にアライメントしているのに対し、語彙ベースモデルは硬い語境界のため、利息のようなサブ語をその構成要素に正しくマッピングできていないことがわかった。