[論文レビュー] GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph

Yunxin Li, Yu Zhao+6 more|arXiv (Cornell University)|Jul 1, 2021

Topic Modeling参考文献 39被引用数 4

ひとこと要約

GlyphCRMは、従来の文字埋め込みの代わりにグリフベースの表現を採用する、中国語向けの新規事前学習言語モデルである。空間的特徴を抽出するための残差畳み込みニューラルネットワーク（HanGlyph）を用い、スケイプ接続によりバイディレクショナルトランスフォーマーに統合する。9つの下流NLUタスクで最先端の性能を達成し、平均してBERTを最大1%上回り、低リソースおよび専門分野（例：医療テキスト）でも優れた汎化性能を示す。

ABSTRACT

Previous works indicate that the glyph of Chinese characters contains rich semantic information and has the potential to enhance the representation of Chinese characters. The typical method to utilize the glyph features is by incorporating them into the character embedding space. Inspired by previous methods, we innovatively propose a Chinese pre-trained representation model named as GlyphCRM, which abandons the ID-based character embedding method yet solely based on sequential character images. We render each character into a binary grayscale image and design two-channel position feature maps for it. Formally, we first design a two-layer residual convolutional neural network, namely HanGlyph to generate the initial glyph representation of Chinese characters, and subsequently adopt multiple bidirectional encoder Transformer blocks as the superstructure to capture the context-sensitive information. Meanwhile, we feed the glyph features extracted from each layer of the HanGlyph module into the underlying Transformer blocks by skip-connection method to fully exploit the glyph features of Chinese characters. As the HanGlyph module can obtain a sufficient glyph representation of any Chinese character, the long-standing out-of-vocabulary problem could be effectively solved. Extensive experimental results indicate that GlyphCRM substantially outperforms the previous BERT-based state-of-the-art model on 9 fine-tuning tasks, and it has strong transferability and generalization on specialized fields and low-resource tasks. We hope this work could spark further research beyond the realms of well-established representation of Chinese texts.

研究の動機と目的

• 従来の中国語NLPモデルが静的でIDベースの文字埋め込みに依存するため、文字グリフに内在する豊富な意味的情報が無視されるという限界を是正すること。
• 文字IDを一切使用しないグリフ表現が、中国語テキストのための効果的で文脈に適応した表現として機能できるかどうかを検証すること。
• グリフ構造と文脈的依存関係の両方を活用することで、特に低リソースおよび専門分野の分野において、移行性と汎化性能を向上させる事前学習モデルを開発すること。
• 埋め込みベースのモデルに内在する未知語（OOV）問題を、語彙照合ではなく視覚的グリフ特徴に依存することで解決すること。

提案手法

• 各中国語文字は2値グレースケール画像としてレンダリングされ、階層的グリフ表現を抽出する2段階の残差畳み込みネットワーク（HanGlyph）に供給される。
• 空間的構造と文字グリフ内での相対的位置を符号化するための2チャネル位置マップが導入される。
• 各HanGlyphブロックから得られるグリフ特徴はスケイプ接続を通じて下位のトランスフォーマーブロックに渡され、マルチスケールの視覚的特徴を保持・活用する。
• 長距離の文脈的依存関係を捉えるために、バイディレクショナルトランスフォーマーエンコーダーがスーパーパラメータ構造として使用される。
• 事前学習は、BERTと同一の目的（マスク言語モデル化と次文予測）を採用するが、入力は画像ベースに限定される。
• 微調整は、文字IDの照合を必要とせず、画像表現のまま直接実行されるため、下流タスクへのエンドツーエンドの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 文字IDを一切使用しないグリフ画像に依存する中国語向け事前学習言語モデルが、IDベースのモデルに比べて優れた性能を達成できるか？
• RQ2 グリフベースの表現が、低リソースおよび専門的NLPタスクにおける汎化性と移行性をどの程度向上させるか？
• RQ3 グリフのみの表現が、埋め込みベースのモデルに共通する未知語問題を効果的に解消できるか？
• RQ4 マルチレベルのグリフ特徴からのスケイプ接続が、トランスフォーマーエンコーダーにおける文脈表現をどのように向上させるか？

主な発見

• GlyphCRMは9つの中国語NLUタスクにおいて、BERTベースの最先端モデルを上回り、平均して最大1%の精度向上を達成した。
• 医療意味マッチングデータセット（CMSSM）では、テスト精度が90.84%に達し、BERTの89.79%を上回った。
• 低リソースの小売感情分析データセットでは、テスト精度が76.07%に達し、BERTの73.61%を2.44ポイント上回った。
• 医療テキストなど専門分野においても、モデルは優れた移行性を示し、希少語や分野固有の用語が存在する中でもBERTよりも優れた汎化性能を発揮した。
• 性能向上の背景には、中国語文字グリフに内在する意味的豊かさがあり、語の意味と関連する意味的視覚パターンを効果的に表現している。
• 文字埋め込みテーブルが存在しないため、すべての文字が頻度や事前の出現に関係なく、その視覚的形態によって表現されるため、未知語問題が解消された。