[論文レビュー] Porous Lattice-based Transformer Encoder for Chinese NER

Mengge Xue, Bowen Yu+4 more|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 40被引用数 14

ひとこと要約

本稿では、中国語 NER のための新しいトランスフォーマー基盤モデルである Poreus Lattice Transformer Encoder (PLTE) を提案する。PLTE は、局所的文脈モデリングを強化するため、lattice-aware self-attention とポーラス機構を用いて、文字と語彙的語の lattice を並列に処理する。PLTE は、最先端の手法に比べ最大 11.4 倍の高速な推論を達成するとともに、BERT の表現と組み合わせることで性能が向上する。

ABSTRACT

Incorporating lattices into character-level Chinese named entity recognition is an effective method to exploit explicit word information. Recent works extend recurrent and convolutional neural networks to model lattice inputs. However, due to the DAG structure or the variable-sized potential word set for lattice inputs, these models prevent the convenient use of batched computation, resulting in serious inefficient. In this paper, we propose a porous lattice-based transformer encoder for Chinese named entity recognition, which is capable to better exploit the GPU parallelism and batch the computation owing to the mask mechanism in transformer. We first investigate the lattice-aware self-attention coupled with relative position representations to explore effective word information in the lattice structure. Besides, to strengthen the local dependencies among neighboring tokens, we propose a novel porous structure during self-attentional computation processing, in which every two non-neighboring tokens are connected through a shared pivot node. Experimental results on four datasets show that our model performs up to 9.47 times faster than state-of-the-art models, while is roughly on a par with its performance. The source code of this paper can be obtained from https://github.com/xxx/xxx.

研究の動機と目的

• 中国語 NER の lattice ベース RNN モデルにおける非効率性と限られた意味的相互作用を解消すること。
• lattice LSTM や類似モデルにおける逐次的ボトルネックと双方向文脈の欠如を克服すること。
• トランスフォーマー基盤アーキテクチャにおいて、lattice 構造の入力をバッチ処理・並列処理可能にする仕組みを提供すること。
• 隣接トークン間の依存関係を強化するポーラスアテンション機構を導入することで、NER における局所的文脈モデリングを強化すること。
• PLTE が、特に事前学習済み BERT 表現と統合された場合に、優れた性能と速度を達成することを実証すること。

提案手法

• PLTE は、トランスフォーマー エンコーダーを拡張し、文字と一致する語彙的語を連結したシーケンスで同時に処理することで、フルバッチ推論を可能にする。
• lattice-aware self-attention を導入し、Shaw 他 (2018) の相対的位置埋め込み機構を模倣した相対的位置情報の lattice 構造を組み込む。
• ポーラス機構は、標準的な全結合アテンションをピボット共有構造に置き換え、非隣接トークンのペアが共有ピボットを通じて接続されるようにすることで、局所的依存関係モデリングを強化する。
• グローバルなアテンションメカニズムを維持することで、長距離依存関係学習を保ちながら、関連する局所的文脈に注目する。
• 標準的なトランスフォーマーへの最小限のアーキテクチャ的変更で、エンドツーエンドの学習と推論を可能にする。
• 事前学習言語モデル（例：BERT）と互換性があり、トランスファー学習によりさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤アーキテクチャは、バッチ処理・並列計算を可能にしつつ、中国語 NER の lattice 構造入力を効果的に処理できるか？
• RQ2 lattice-aware self-attention は、一方向 RNN と比較して、文字とその一致語彙語の間の相互作用モデリングをどの程度改善するか？
• RQ3 ポーラスアテンション機構は、文字レベル NER タスクにおける局所的文脈モデリングをどの程度向上させるか？
• RQ4 lattice LSTM や LR-CNN といった既存の lattice ベースモデルと比較して、PLTE の速度と正確性はいかがなっているか？
• RQ5 事前学習済み BERT 表現と統合することで、PLTE は現在の最先端結果をさらに上回る性能を達成できるか？

主な発見

• OneNotes データセットで Word2vec 埋め込みを用いた場合、PLTE は lattice LSTM より最大 11.4 倍、LR-CNN より 5.11 倍高速な推論を達成した。
• 4 つのベンチマークデータセットにおいて、PLTE は複数の強力なベースラインを F1 スコアで上回ったが、特に BERT 表現と組み合わせた場合に顕著な向上を示した。
• アブレーションスタディにより、lattice-aware self-attention を削除すると F1 が 0.58% から 3.63% 減少し、語彙統合の重要性が明確に示された。
• ポーラス機構は、アブレーションスタディで標準アテンションより一貫した性能向上を示し、局所的文脈モデリングの強化を裏付けた。
• 再帰的計算や先行モデルに見られるリタイキング機構が排除されたため、バッチサイズ 1 であっても PLTE は高い効率性を維持した。
• BERT 埋め込みで微調整した場合、PLTE は中国語 NER ベンチマークで報告された最高性能を達成し、事前学習表現との互換性と有効性を確認した。