[論文レビュー] FLAT: Chinese NER Using Flat-Lattice Transformer

Xiaonan Li, Hang Yan+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 20被引用数 12

ひとこと要約

FLATは、動的ラティス構造を頭部および末尾位置符号化を用いたスパンの集合に変換することで、平坦ラティス・トランスフォーマーモデルを提案する。これにより、完全な並列処理が可能となり、文字レベルおよび語彙レベルの情報を効率的にモデル化できる。4つのベンチマークデータセットにおいて、最先端の性能を達成し、従来の語彙ベースのモデルよりも高速な推論を実現した。

ABSTRACT

Recently, the character-word lattice structure has been proved to be effective for Chinese named entity recognition (NER) by incorporating the word information. However, since the lattice structure is complex and dynamic, most existing lattice-based models are hard to fully utilize the parallel computation of GPUs and usually have a low inference-speed. In this paper, we propose FLAT: Flat-LAttice Transformer for Chinese NER, which converts the lattice structure into a flat structure consisting of spans. Each span corresponds to a character or latent word and its position in the original lattice. With the power of Transformer and well-designed position encoding, FLAT can fully leverage the lattice information and has an excellent parallelization ability. Experiments on four datasets show FLAT outperforms other lexicon-based models in performance and efficiency.

研究の動機と目的

• RNN や動的構造に依存する既存のラティスベース中国語NERモデルにおける非効率性と長距離情報の制限を解消すること。
• ラティス構造の入力に対して、ラティスをスパンに平坦化し、位置符号化を用いることで、トランスフォーマーモデルの完全な並列処理を可能にすること。
• 語彙分割による誤差伝播を回避しつつ、文字レベルおよび語彙レベルの情報を効果的に統合すること。
• 中国語NERベンチマークにおいて、精度と推論速度の両面で既存の語彙ベースモデルを上回ること。

提案手法

• 文字・語彙ラティスを、各スパンが文字または潜在的語彙を表し、その開始位置（頭部）および終了位置（末尾）を持つ平坦構造に変換する。
• トランスフォーマー自己注意機構においてラティス構造の情報を保持するために、頭部および末尾位置を用いた新規位置符号化方式を導入する。
• 標準的なマルチヘッド自己注意機構をトランスフォーマーエンコーダーに使用し、文字とすべての潜在的語彙（自己マッチング語を含む）の直接相互作用を可能にする。
• 文脈表現およびエンティティ分類の向上を図るため、事前学習済みBERT埋め込みを入力特徴として活用する。
• 標準的なトランスフォーマー構造に従い、各サブレイヤーの後に残差接続およびレイヤーナーミャライゼーションを適用する。
• クロスエントロピー損失とCRFデコーディングを用いてシーケンスラベル付けを最適化し、エンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 平坦ラティス表現は、中国語NERのためのトランスフォーマーの効率的かつ完全な並列学習を可能にするか？
• RQ2 提案された頭部・末尾位置符号化は、より良いエンティティ認識を実現するためにラティス構造の情報を効果的に保持するか？
• RQ3 精度と推論速度の両面で、ラティスLSTMおよびグラフベースモデルを上回ることができるか？
• RQ4 事前学習済みBERT埋め込みの統合は、FLATフレームワークにおける性能にどのように影響を与えるか？

主な発見

• FLATは4つの中国語NERデータセットにおいて最先端の性能を達成し、F1および正答率の指標でBERT+CRFおよび他の語彙ベースモデルを上回った。
• Ontonotesデータセットでは、ベースラインのBERT+CRFモデルに比べ、Span Fが1.68ポイント、Type Accが1.68ポイント向上した。
• MSRAデータセットでは、FLATはSpan Fが96.09、Type Accが95.86を達成し、BERTベースラインの94.95および95.53を顕著に上回った。
• ラティスLSTMとは異なり、完全なGPU並列処理により、推論速度が顕著に向上した。
• アブレーションスタディの結果、頭部・末尾位置符号化が重要であることが確認され、これを削除すると特にSpan Fにおいて性能が低下した。
• ResumeやWeiboのような小規模データセットではわずかな向上が見られたが、これはラティス統合の利点が、より大規模で豊富なデータセットにおいて顕著であることを示している。