[論文レビュー] Robust Chinese Word Segmentation with Contextualized Word Representations

Yung-Sung Chuang|arXiv (Cornell University)|Jan 17, 2019

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、ELMoからの文脈的文字表現を用いた双方向LSTMを用いた頑健な中国語語区切りモデルを提案し、未知語（OOV）の誤差率を顕著に低減している。文脈依存の埋め込みを活用することで、複数のデータセットで最先端の性能を達成しており、特にOOV語においてベースラインモデル比で最大5%の精度向上を達成している。

ABSTRACT

In recent years, after the neural-network-based method was proposed, the accuracy of the Chinese word segmentation task has made great progress. However, when dealing with out-of-vocabulary words, there is still a large error rate. We used a simple bidirectional LSTM architecture and a large-scale pretrained language model to generate high-quality contextualize character representations, which successfully reduced the weakness of the ambiguous meanings of each Chinese character that widely appears in Chinese characters, and hence effectively reduced OOV error rate. State-of-the-art performance is achieved on many datasets.

研究の動機と目的

• 実世界の応用においてモデルの汎化能力を著しく制限する中国語語区切りにおける未知語（OOV）の持続的課題に対処すること。
• 周囲の文字との意味的依存関係を捉える文脈依存の埋め込みに、文脈に依存しない文字表現を置き換えることで、モデルの頑健性を向上させること。
• 従来のニューラルネットワークモデルと比較して、ELMoからの文脈的表現がOOV語における誤差率を顕著に低減できるかどうかを評価すること。
• 単純なスタックされていないBi-LSTMアーキテクチャにELMo埋め込みを組み合わせることで、標準的な中国語語区切りベンチマークで最先端の性能を達成できることを示すこと。

提案手法

• モデルは、文ごとに動的に調整される文脈に依存するELMo埋め込みから得られる文字レベルの入力を処理する3層の双方向LSTMを使用している。
• 入力表現は、文字レベルのCNNを経て、ELMoフレームワーク内での2層の双方向LSTMによって生成され、各文字の文脈的表現が得られる。
• 出力層では、各文字位置で「現在の語に追加する（継続）」か「現在の語を終了して新しい語を開始する（区切り）」かを2値ソフトマックスで予測する。
• ELMo埋め込みは、訓練と推論の整合性を保つために、文字区切り済みの文に対して微調整され、文字表現の質を向上させている。
• モデルはAdam最適化法を用いて交差エントロピー損失で訓練され、微調整中にELMoのスカラースケーリングおよびソフトマックス正規化された重みが下流タスクへの適応に合わせて調整されている。
• 文脈化の影響がOOV性能に与える影響を評価するために、スキップグラムWord2Vec埋め込みを用いたベースラインモデルと比較している。

実験結果

リサーチクエスチョン

• RQ1 ELMoからの文脈的単語表現は、中国語語区切りにおいて未知語（OOV）誤差率を顕著に低減できるか？
• RQ2 ELMo埋め込みを用いた単純なスタックされていないBi-LSTMアーキテクチャは、より複雑なスタックLSTMモデルと比較して、区切り精度およびOOV耐性においてどのように異なるか？
• RQ3 文脈的表現は、文脈に依存しない埋め込みと比較して、未学習のOOV語に対する一般化性能をどの程度向上させるか？
• RQ4 他のデータセットと比較して、MSRデータセットでは強力なOOV性能を示しているにもかかわらず、改善が限定的であるのはなぜか？

主な発見

• 提案されたモデルは、評価されたすべての中国語語区切りデータセットで最先端の性能を達成しており、以前のSOTAモデルを上回っている。
• OOV語において、約96%の精度を達成しており、スキップグラム埋め込みを用いたベースラインモデルと比較して5%の向上を示している。
• 特にOOV率の高いデータセットでは、ベースラインモデルのOOV精度が約91%に低下する中で、本モデルはOOV語に対して顕著に優れた耐性を示している。
• MSRデータセットでは、OOV率が低いため（2.6%）、また数字を含むまたは固有名のOOV（例："15類", "中共湖北省委"）の割合が高く、ルールベース手法でも一貫した区切りが可能であるため、ベースラインとの差が最小限に抑えられている。
• 統計的分析により、MSRのOOV語の36%が5文字以上であるのに対し、他のデータセットでは10%未満であることが判明し、長さの長い固有名OOVがモデルの利点を制限していると考えられる。
• 「老歌」（古い歌）や「抗癌」（がんと戦う）といった曖昧な区切りにおいて、人間によるアノテーションと意味的区切りに差があることがあり、評価指標に影響を与えている。