[論文レビュー] ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

Zijun Sun, Xiaoya Li+6 more|arXiv (Cornell University)|Jun 30, 2021

Natural Language Processing Techniques参考文献 50被引用数 8

ひとこと要約

ChineseBERTは、BERT型の事前学習に画像的形状（グリフ）とピンイン埋め込みを統合することで、中国語の言語表現を向上させ、視覚的文字形と発音の曖昧除去によって意味的モデリングを強化する。少ない学習ステップと少ないデータで複数の中国語NLPタスクで新たなSOTA結果を達成し、事前学習におけるマルチモーダルな文字レベルの信号の有効性を示している。

ABSTRACT

Recent pretraining models in Chinese neglect two important aspects specific to the Chinese language: glyph and pinyin, which carry significant syntax and semantic information for language understanding. In this work, we propose ChineseBERT, which incorporates both the {\it glyph} and {\it pinyin} information of Chinese characters into language model pretraining. The glyph embedding is obtained based on different fonts of a Chinese character, being able to capture character semantics from the visual features, and the pinyin embedding characterizes the pronunciation of Chinese characters, which handles the highly prevalent heteronym phenomenon in Chinese (the same character has different pronunciations with different meanings). Pretrained on large-scale unlabeled Chinese corpus, the proposed ChineseBERT model yields significant performance boost over baseline models with fewer training steps. The porpsoed model achieves new SOTA performances on a wide range of Chinese NLP tasks, including machine reading comprehension, natural language inference, text classification, sentence pair matching, and competitive performances in named entity recognition. Code and pretrained models are publicly available at https://github.com/ShannonAI/ChineseBert.

研究の動機と目的

• 既存の中国語事前学習モデルにグリフとピンイン情報が欠けていることによる意味的・構文的モデリングの制限を是正すること。
• 文字の視覚的（グリフ）および音声的（ピンイン）特徴を事前学習プロセスに統合することで、中国語の理解を向上させること。
• 構造的および音声的信号を正則化子として活用することで、大規模なラベル付きデータへの依存度を低減すること。
• 少ない学習ステップと少ないデータで、多様な中国語NLPタスクで優れたパフォーマンスを達成すること。

提案手法

• 中国語文字の異なるフォントスタイルから得られるグリフ埋め込みを導入し、視覚的意味的手がかりを捉える。
• ピンイン埋め込みを統合して同音異義語や異音異義語を解消し、多音字の曖昧さを解消する。
• グリフ、ピンイン、文字ID埋め込みを統合し、各トークンに対して1つの文脈的表現を生成する。
• マスク言語モデルと次文予測を用いて、大規模なラベルなし中国語コーパス上でモデルを事前学習する。
• 文字の形状、発音、識別子から同時に学習できるマルチブランチアーキテクチャを採用する。
• テキスト分類、NLI、MRC、シーケンスラベル付けなどの下流タスクで、得られたモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 事前学習にグリフとピンイン情報を統合することで、中国語言語モデルの下流タスクパフォーマンスが向上するか？
• RQ2 グリフとピンイン埋め込みは、中国語の多音字の曖昧さ解消にどのように寄与するか？
• RQ3 視覚的および音声的特徴の統合は正則化子として機能し、少ない学習データでも良好なパフォーマンスを実現するか？
• RQ4 ChineseBERTは、RoBERTaやBERT-wwmと比較して、多様な中国語NLPベンチマークでどのように性能を発揮するか？

主な発見

• ChineseBERTは、機械的読解、自然言語推論、テキスト分類、文対マッチングの各タスクで、新たなSOTAパフォーマンスを達成した。
• MSRAおよびPKUの語彙分割データセットでは、大規模版でそれぞれMSRAで98.67 F1および98.01の正答率、PKUで97.16 F1および98.01の正答率を達成した。
• 命名エンティティ認識タスクでは、OntoNotes 4.0で81.65 F1を達成し、RoBERTaを1.28ポイント上回った。
• アブレーションスタディの結果、グリフまたはピンイン埋め込みを削除するとF1が1.17–1.52ポイント低下し、両者の個別的および統合的寄与の重要性が確認された。
• 学習データの30％未満ではわずかな向上しか見られないが、30％を超えると性能向上が顕著になり、データ効率性が示された。
• すべての評価タスクで、RoBERTa や BERT-wwm と比較して優れた性能を示した。これは、少ないデータおよび少ないエポックで学習した場合でも同様であった。