[論文レビュー] ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations

Shizhe Diao, Jiaxin Bai+3 more|arXiv (Cornell University)|Nov 2, 2019

Topic Modeling参考文献 35被引用数 14

ひとこと要約

ZENは、事前学習中に語彙およびフレーズレベルの情報を組み込むことで、意味的理解を向上させるために、明示的なn-gram表現を組み込んだBERTベースの中国語テキストエンコーダーを提案する。n-gramエンコーディングを二次的なTransformerエンコーダーを介して統合し、文字レベルの表現と統合することで、外部知識を一切使用せず、かつより少ないデータで、先行モデルと比較して複数の中国語NLPタスクで最先端の性能を達成する。

ABSTRACT

The pre-training of text encoders normally processes text as a sequence of tokens corresponding to small text units, such as word pieces in English and characters in Chinese. It omits information carried by larger text granularity, and thus the encoders cannot easily adapt to certain combinations of characters. This leads to a loss of important semantic information, which is especially problematic for Chinese because the language does not have explicit word boundaries. In this paper, we propose ZEN, a BERT-based Chinese (Z) text encoder Enhanced by N-gram representations, where different combinations of characters are considered during training. As a result, potential word or phase boundaries are explicitly pre-trained and fine-tuned with the character encoder (BERT). Therefore ZEN incorporates the comprehensive information of both the character sequence and words or phrases it contains. Experimental results illustrated the effectiveness of ZEN on a series of Chinese NLP tasks. We show that ZEN, using less resource than other published encoders, can achieve state-of-the-art performance on most tasks. Moreover, it is shown that reasonable performance can be obtained when ZEN is trained on a small corpus, which is important for applying pre-training techniques to scenarios with limited data. The code and pre-trained models of ZEN are available at https://github.com/sinovation/zen.

研究の動機と目的

• 中国語において語の区切りが曖昧であるため、BERTのような文字レベルエンコーダーが意味的な語およびフレーズの境界を捉えることができないという制限に対処する。
• モデル学習中にn-gram情報を明示的に組み込むことで、中国語の事前学習における意味的表現を向上させる。
• 出力形式を文字レベルに保ったままBERTを拡張する方法を開発し、下流タスクとの互換性を確保する。
• 自動的に学習されたn-gramを活用することで、小規模または限られたコーパスでも効果的な事前学習を可能にする。
• 部分語レベルの意味を組み込むための、全体語マスキングや弱い教師付き手法の補完的代替手法を提供する。

提案手法

• ZENは二本のブランチアーキテクチャを採用：標準のBERTベースの文字エンコーダーと、抽出されたn-gramを処理するためのTransformerエンコーダーで構成される別個のn-gramエンコーダー。
• n-gramは、教師なしまたは辞書ベースの手法から得られる語彙を用いて入力テキストから抽出され、有効で頻出する文字の組み合わせを捉える。
• n-gramエンコーダーは各検出されたn-gramの文脈的表現を生成し、それらをBERTエンコーダー内の対応する文字表現に要素ごとに加算する。
• モデルは、マスク言語モデル（MLM）と次文予測（NSP）の両方の目的関数を用いて事前学習され、n-gram情報はフォワードパス中に統合される。
• 微調整段階では、n-gram表現を継続的に活用することで、タスク固有の適応が可能になりつつ、文字レベル出力の互換性が維持される。
• 統合メカニズムは微分可能であり、BERTアーキテクチャを変更する必要がないため、エンドツーエンドの学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的なn-gram表現の組み込みが、中国語NLPタスクにおける文字レベル事前学習モデルの性能向上に寄与するか？
• RQ2 ZENのn-gram情報統合法は、全体語マスキングや弱教師付き手法と比較して、性能およびデータ効率の点でどのように異なるか？
• RQ3 より高いレベルのn-gram表現を使用しても、文字レベル出力を必要とする下流タスクとの互換性をZENは維持できるか？
• RQ4 ZENは、より大きなコーパスに依存する既存のモデルと比較して、より少ない学習データで最先端の結果を達成できるか？
• RQ5 ZENの各層におけるn-gram表現はどのように変化するか？また、それらは意味的エンコーディングと形態的エンコーディングの違いを何を示唆するか？

主な発見

• ZENは、CLUEやCCLUEを含む複数の中国語NLPベンチマークで最先端の性能を達成し、より大きなコーパスで学習されたモデルを上回る。
• ZENは小規模コーパスで事前学習されても強力な結果を示し、データ効率が高く、リソースが限られた状況に適していることが示された。
• テキスト分類やシーケンスラベル付けなど、フレーズレベルの理解を要するタスクで、明示的なn-gramエンコーディングのおかげで性能が向上した。
• 分析の結果、長めで有効なn-gram（例：提高速度、ボストンコンサルティング）は、深層部の層で高い注目度重みを示しており、意味的エンコーディングが行われていることが示された。
• n-gram表現の統合により、意味的なテキストチャンクの学習能力が向上し、キーフレーズ抽出やチャンク化などの下流タスクへの応用の可能性が示唆された。
• 外部知識や複雑な前処理を一切使用していないにもかかわらず、ZENの性能は外部知識を活用するモデルや複雑な前処理を用いたモデルと同等またはそれ以上であった。