[論文レビュー] Using Chinese Glyphs for Named Entity Recognition

Arijit Sehanobish, Chan Hee Song|arXiv (Cornell University)|Sep 22, 2019

Topic Modeling参考文献 30被引用数 6

ひとこと要約

本稿では、黒体フォントのグレースケール64×64文字からなる4,500文字の画像特徴を用いて、中国語名前付きエンティティ認識（NER）を向上させる、新しいCNNベースの手法を提案する。この手法は、語彙的特徴や品詞タグなどの外部特徴に依存せず、中国語漢字（漢字の部首）の視覚的特徴を意味的ヒントとして活用する。Weiboでは71.81のF1スコア、MSRAでは96.49のF1スコアを達成し、BERT-BiLSTM-CRFベースラインを最大+0.72 F1スコアまで上回り、非中国語文字に対しても頑健で、極めて少ないグリフデータで実現可能である。

ABSTRACT

Most Named Entity Recognition (NER) systems use additional features like part-of-speech (POS) tags, shallow parsing, gazetteers, etc. Such kind of information requires external knowledge like unlabeled texts and trained taggers. Adding these features to NER systems have been shown to have a positive impact. However, sometimes creating gazetteers or taggers can take a lot of time and may require extensive data cleaning. In this paper for Chinese NER systems, we do not use these traditional features but we use lexicographic features of Chinese characters. Chinese characters are composed of graphical components called radicals and these components often have some semantic indicators. We propose CNN based models that incorporate this semantic information and use them for NER. Our models show an improvement over the baseline BERT-BiLSTM-CRF model. We set a new baseline score for Chinese OntoNotes v5.0 and show an improvement of +.64 F1 score. We present a state-of-the-art F1 score on Weibo dataset of 71.81 and show a competitive improvement of +0.72 over baseline on ResumeNER dataset.

研究の動機と目的

• 語彙辞書や品詞タグなどの外部特徴に依存せずに中国語NERの性能を向上させること。
• 中国語漢字グリフ（部首）の視覚的意味情報を低リソースで利用可能かつ頑健な特徴として活用することの可能性を検討すること。
• グリフ符号化を画像分類問題として扱う、訓練効率が高く、実装が容易なモデルを開発すること。
• 英字や未知語の文字などノイズの多い入力に対してもモデルの頑健性を評価すること。
• 極めて少ないグリフデータで、主要な中国語NERベンチマークで最先端の性能を達成すること。

提案手法

• 本モデルは、'ストライド'と'GLYNN'の2つのCNNアーキテクチャを用いて、中国語漢字グリフを視覚的特徴として符号化し、グリフ表現をコンピュータビジョンタスクとして扱う。
• グリフ画像は、UTF-8コードポイントから、4,500文字のグレースケール64×64の黒体フォントの辞書を用いて抽出される。
• CNNで学習されたグリフ特徴は、凍結された中国語BERTの最後の4層の埋め込みと連結され、強化された文字レベル表現が形成される。
• これらの統合埋め込みは、BERTを凍結した状態でエンドツーエンドに訓練されるBiLSTM-CRFデコーダに供給され、系列ラベル付けが行われる。
• GLYNNモデルの事前学習にはオートエンコーダーが用いられ、開発およびテストセットにおける性能向上とばらつきの低減が図られる。
• 本システムは、OntoNotes v5.0、Weibo、ResumeNER、MSRAのデータセットで評価され、学習率、ドロップアウト、訓練エポック数に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 中国語漢字グリフから得られる視覚的特徴は、語彙的特徴などの外部言語的特徴に依存せずにNER性能を向上させることができるか？
• RQ2 標準的な中国語NERベンチマークにおいて、グリフ拡張型NERモデルの性能は、強力なBERT-BiLSTM-CRFベースラインと比べてどの程度優れているか？
• RQ3 意味を持たない非中国語文字（例：英字）にさらされた場合、モデルの頑健性はどの程度保たれるか？
• RQ4 効果的な性能を達成するためにどの程度のグリフデータが必要か？また、少数の統一されたフォントセットで十分か？
• RQ5 オートエンコーダーを用いたグリフエンコーダーの事前学習は、NER性能と安定性に顕著な改善をもたらすか？

主な発見

• 提案手法は、Weiboデータセットで71.81の最先端F1スコアを達成し、ベースラインを+0.72 F1スコア上回った。
• MSRAデータセットでは、96.49の最先端F1スコアを達成し、大規模かつ高品質なNERベンチマークで強い性能を示した。
• 中国語OntoNotes v5.0では、ベースラインを+0.64 F1スコア分上回り、多様なデータセットにわたる一貫した向上を確認した。
• 非中国語文字に対するモデルの頑健性が確認された：英字や未知語の文字をグリフ入力として含めても、ベースラインを上回る性能を維持した。
• オートエンコーダーによる事前学習ステップは、特にWeiboおよびOntoNotesデータセットで性能をわずかに向上させるとともに、ばらつきを低減した。
• ハイパーパramータチューニングの結果、WeiboおよびOntoNotesでは30エポックが最適であり、ResumeNERでは20エポックが最適であった。30エポックを超えて訓練を続けると、性能が低下した。