[論文レビュー] ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders

Yan Song, Tong Zhang+2 more|arXiv (Cornell University)|May 4, 2021

Topic Modeling参考文献 40被引用数 28

ひとこと要約

ZEN 2.0は n-gram 表現を洗練させ、全 n-gram マスキングを適用し、相対的位置エンコーディングを使用することでZENを拡張し、大量データで中国語とアラビア語にスケールし、複数のNLPタスクで最先端の結果を達成します。

ABSTRACT

Pre-trained text encoders have drawn sustaining attention in natural language processing (NLP) and shown their capability in obtaining promising results in different tasks. Recent studies illustrated that external self-supervised signals (or knowledge extracted by unsupervised learning, such as n-grams) are beneficial to provide useful semantic evidence for understanding languages such as Chinese, so as to improve the performance on various downstream tasks accordingly. To further enhance the encoders, in this paper, we propose to pre-train n-gram-enhanced encoders with a large volume of data and advanced techniques for training. Moreover, we try to extend the encoder to different languages as well as different domains, where it is confirmed that the same architecture is applicable to these varying circumstances and new state-of-the-art performance is observed from a long list of NLP tasks across languages and domains.

研究の動機と目的

• より大きな粒度の意味を捉えるために、明示的な n-gram 情報を組み込んで文字ベースのエンコーダを改善する動機付け。
• ZEN-2.0の改善案——加重 n-gram 表現、全 n-gram マスキング、相対位置エンコーディング——を提案し、モデルサイズを拡大する際の学習を強化する。
• 強化された ZEN を中国語とアラビア語に適用し、広範なNLPタスクで評価することで一般化を示す。
• 学習ステップ、n-gram 重み付け、マスキング戦略、エンコーディングの選択に関する実証分析を提供し、それらが性能と学習効率に与える影響を理解する。

提案手法

• ZENをZEN-2.0に拡張し、別個の n-gram エンコーダを用いて BERT-large サイズへスケールさせる。
• 文字エンコーダへの統合時に各 n-gram をコーパス頻度に基づいて重み付けすることで n-gram 表現を洗練させる。
• 個々の文字ではなく、オフ・ザ・シェルフのセグメンテータから構築された完全な n-gram をマスキングする全 n-gram マスキングを実装する。
• 注目における距離と向きをモデル化するため、文字エンコーダに相対的位置エンコーディングを採用し、学習可能な射影を用いる。
• 中国語とアラビア語の大規模言語データで MLM および NSP 目的を用いて訓練し、PMIベースの n-gram 辞書抽出と2モデル構成（文字エンコーダと n-gram エンコーダ）を採用する。
• 中国語とアラビア語の複数のNLPベンチマークで微調整し、CWS、POS、NER、DC、SA、SPM、NLI、MRC、QA（中国語）および POS、NER、DC、SA、NLI、MRC（アラビア語）を評価する。

実験結果

リサーチクエスチョン

• RQ1 続行学習とモデルサイズの拡大に伴い、n-gram 表現は有用性を保つのか？
• RQ2 重み付けされた n-gram 表現、全 n-gram マスキング、相対位置エンコーディングといった改良は、言語を跨いでZENの性能を向上させるのか？
• RQ3 ZEN アーキテクチャは中国語以外の言語、例えばアラビア語のような言語にも有効なのか？
• RQ4 学習ステップ、マスキング戦略、エンコーディングの選択は、事前学習の効果と下流の性能にどう影響するのか？

主な発見

• ZEN-2.0は base および large バリアントの9つの中国語NLPタスクで新しい最先端の性能を達成。
• ZEN-2.0は評価されたタスクで従来の中国語エンコーダとZEN 1.0を上回る。
• ZEN-2.0はアラビア語のタスクでもベースラインを上回り、n-gram 強化の言語横断的一般化を示す。
• 洗練された重み付き n-gram 表現と全 n-gram マスキングは表現品質と訓練効率の改善に寄与。
• 相対位置エンコーディングは追加の利得を提供し、特にアラビア語NERや他のタスクで顕著。
• ケーススタディと定性的分析により、ZEN-2.0のn-gram表現が意味的に関連するフレーズをクラスタリングし、有意な情報の粒度を反映する。