[論文レビュー] MFE-NER: Multi-feature Fusion Embedding for Chinese Named Entity Recognition

Jiatong Li, Kui Meng|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 14被引用数 10

ひとこと要約

本稿では、意味的・字形的・音声的特徴を統合することで文字置換の課題に対処する中国語固有名前抽出のためのマルチ・フェイチャーフュージョン埋め込み手法MFE-NERを提案する。'Five-Strokes'を用いた構造的符号化と、国際発音記号に基づく新規の'Trans-pinyin'システムにより、音声類似性を測定することで、MFE-NERは特に口語的・置換語彙の文脈において、標準的な事前学習モデルを上回る性能を発揮する。5つのベンチマークデータセットで実験した結果、優れた性能を示した。

ABSTRACT

In Chinese Named Entity Recognition, character substitution is a complicated linguistic phenomenon. Some Chinese characters are quite similar as they share the same components or have similar pronunciations. People replace characters in a named entity with similar characters to generate a new collocation but referring to the same object. As a result, it always leads to unrecognizable or mislabeling errors in the NER task. In this paper, we propose a lightweight method, MFE-NER, which fuses glyph and phonetic features, to help pre-trained language models handle the character substitution problem in the NER task with limited extra cost. Basically, in the glyph domain, we disassemble Chinese characters into Five-Stroke components to represent structure features. In the phonetic domain, an improved phonetic system is proposed in our work, making it reasonable to describe phonetic similarity among Chinese characters. Experiments demonstrate that our method performs especially well in detecting character substitutions while slightly improving the overall performance of Chinese NER.

研究の動機と目的

• 文字の見た目や発音が似ている文字が置換されることで検出を回避する、あるいはスタイルのための置換が生じる中国語固有名前抽出における文字置換の課題に対処すること。
• SNSなど動的かつ口語的な言語環境で、事前学習済み言語モデルの耐障害性を向上させること。
• 意味的でない言語的特徴（字形構造と発音）をニューラルNERSモデルに統合し、一般化性能を向上させ、認識誤りを低減すること。
• 構造的および音声的類似性を意味的埋め込みを超えて捉えることができる、軽量で説明可能かつスケーラブルな中国語文字表現手法を構築すること。

提案手法

• MFE-NERは、意味的（事前学習済みBERT類似モデルからのもの）、字形的（'Five-Strokes'符号化により文字構成要素を表現）、音声的（国際発音記号に基づく新規の'Trans-pinyin'システムによるもの）の3種類の埋め込みを統合する。
• 'Five-Strokes'法は中国語文字をストロークベースの構成要素に分解し、構造的類似性を符号化することで、見た目が似た文字同士が近いベクトル表現を持つようにする。
• 'Trans-pinyin'システムは中国語文字を標準化された発音記号にマッピングし、文字間の発音類似性を意味的に計算可能にする。
• 特徴統合は、各モodalが別々に処理された後、予測を平均化する「ラテント相互作用戦略」を用いた複数のLSTMを用いて行い、過学習を引き起こす特徴の混合を回避する。
• モデルは、元の名前エンティティと置換済みエンティティのペアを含むデータセットで微調整され、置換パターンへの感受性を高めるために対照的学習に類似したアプローチを採用する。
• 3つのモダリティ固有のLSTMの出力を結合するために線形層が使用され、エンド・ツー・エンド学習を可能にしながら、特徴の独立性を保つ。

実験結果

リサーチクエスチョン

• RQ1 字形的および音声的特徴の統合により、文字置換が生じる状況下でも、事前学習済み言語モデルの中国語固有名前抽出における耐障害性が向上するか？
• RQ2 'Five-Strokes'符号化法は、'Four-Corner'など既存の方法と比較して、中国語文字間の構造的類似性をどれほど的確に捉えられるか？
• RQ3 標準化された発音記号システム（例：'Trans-pinyin'）は、中国語NERSにおける発音に基づく置換のモデリングにどの程度効果を発揮するか？
• RQ4 意味的特徴に加え、字形的および音声的特徴を統合したマルチモーダル統合は、意味的特徴のみのモデルと比較して、口語的・動的言語データにおける性能を向上させるか？

主な発見

• MFE-NERは5つのベンチマークデータセット全体でNERS性能を顕著に向上させ、ベースラインモデルを常に上回ることを示した。
• 文字置換が一般的な口語的言語環境において、特に優れた性能を発揮し、言語の多様性に対する耐障害性が向上していることが示された。
• 各特徴モダリティに別々のLSTMを適用し、その後予測を平均化するアプローチは、線形層による早期統合よりも一般化性能に優れており、過学習の低減に寄与した。
• 'Five-Strokes'符号化法は、従来のコード体系と比較してより表現力に富み、画像ベースの表現よりも空間計算量が低いという点で、スケーラブルな代替手段を提供した。
• 'Trans-pinyin'システムは正確な発音類似性計算を可能にし、既存の発音埋め込みよりも発音に基づく置換の捉え込みに優れていた。
• 元のエンティティと置換済みエンティティのペアを用いた対照的学習により、置換された固有名の認識能力が向上し、言語的多様性への対処においてマルチ・フェイチャーフュージョンの価値が裏付けられた。