[論文レビュー] Lexicon Enhanced Chinese Sequence Labeling Using BERT Adapter

Wei Liu, Xiyan Fu+2 more|arXiv (Cornell University)|May 15, 2021

Natural Language Processing Techniques参考文献 50被引用数 9

ひとこと要約

本稿では、外部の語彙知識を BERT の下位層に統合するための新しい語彙アダプタ層を介して、離散的語彙特徴と文脈依存ニューラル表現を深く融合する手法である Lexicon Enhanced BERT (LEBERT) を提案する。LEBERT は、文字レベルでの関連語彙語の動的注目を可能にすることで、命名エンティティ認識、語彙分割、品詞タグ付けのタスクをカバーする 10 個の中国語系列ラベル付けデータセットにおいて、最先端の性能を達成する。

ABSTRACT

Lexicon information and pre-trained models, such as BERT, have been combined to explore Chinese sequence labelling tasks due to their respective strengths. However, existing methods solely fuse lexicon features via a shallow and random initialized sequence layer and do not integrate them into the bottom layers of BERT. In this paper, we propose Lexicon Enhanced BERT (LEBERT) for Chinese sequence labelling, which integrates external lexicon knowledge into BERT layers directly by a Lexicon Adapter layer. Compared with the existing methods, our model facilitates deep lexicon knowledge fusion at the lower layers of BERT. Experiments on ten Chinese datasets of three tasks including Named Entity Recognition, Word Segmentation, and Part-of-Speech tagging, show that LEBERT achieves the state-of-the-art results.

研究の動機と目的

• 構造的語彙知識の統合により、中国語系列ラベル付けにおける単語境界認識の限界を解消すること。
• 既存の語彙-BERT 統合手法における浅い、ランダム初期化された統合層の制限を克服すること。
• モデルヘッドではなく BERT の層レベルで、語彙特徴と BERT レプリゼンテーションの深く相互に作用する統合を可能にすること。
• より良い特徴統合を通じて、中国語 NER、CWS、POS タグ付けにおけるスパン境界検出とスパンタイプ分類を改善すること。
• 微調整された BERT と学習可能なアダプタメカニズムを用いた下位層語彙統合の有効性を実証的に検証すること。

提案手法

• 語彙アダプタは、文字から各文字に対して関連語彙語を動的に抽出するための文字-単語双線形注目メカニズムを用いる。
• アダプタは BERT の隣接する Transformer 層の間に挿入され、ネットワーク全体にわたり語彙特徴と文脈表現の連続的相互作用を可能にする。
• 外部語彙特徴が入力文字にマッチングされ、文字-語のペア系列を形成することで、入力を語レベルの知識で豊かにする。
• BERT パramータと語彙アダプタの両方を一括して微調整することで、特徴の整合性を最適化する。
• アダプタは複数の層（例：層 1, 3, 6, 9, 12）に挿入可能であり、統合深度の影響を評価するためのアブレーションスタディが実施されている。
• 同じアダプタと BERT バックボーンを共有することで、NER、CWS、POS タグ付けのマルチタスク学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 モデルヘッドレベルでの統合と比較して、BERT の下位層に語彙特徴を統合することで、中国語系列ラベル付けタスクの性能が向上するか？
• RQ2 語彙アダプタの挿入深さ（例：層 1 とすべての層）が系列ラベル付け性能に与える影響は何か？
• RQ3 アダプタを介して語彙特徴を統合する際、BERT パrameterの微調整は必須か、固定 BERT で十分か？
• RQ4 下位層統合は、中国語 NER におけるスパン境界検出とスパンタイプ分類の両方を向上させられるか？
• RQ5 多様な中国語 NLP タスクにおいて、LEBERT は既存手法と比較して、ロバスト性と一般化性能に優れているか？

主な発見

• LEBERT は、NER、CWS、POS タグ付けの 3 つの中国語系列ラベル付けタスクをカバーする 10 個のベンチマークデータセットすべてで最先端の性能を達成した。
• 最初の Transformer 層の直後に語彙アダプタを適用した場合が最も高い性能を示し、Ontonotes データセットでは F1 スコア 82.08 を記録した。これは、より深い統合設定を上回った。
• 語彙アダプタと併せて BERT パrameter を微調整した場合、Ontonotes では F1 スコアが 75.05 から 82.08 に 7.03 ポints 上昇した。これは、共同最適化の必要性を示している。
• モデルは 'Hulunbuir League' を GPE として正しく特定したが、BERT+Word は不要な語 'seven and eight' の干渉により誤分類した。
• POS タグ付けの例では、LEBERT は 'seven and eight' を 'adj' として正しく予測したが、BERT と BERT+Word は 'NUM' と誤分類した。これは、より優れた意味理解を示している。
• アブレーションスタディの結果、複数層へのアダプタ適用は性能を低下させた。これは、過学習や矛盾する特徴信号の影響による可能性がある。