[論文レビュー] Self-attention-based BiGRU and capsule network for named entity recognition

Jianfeng Deng, Lianglun Cheng+1 more|arXiv (Cornell University)|Jan 30, 2020

Topic Modeling参考文献 33被引用数 13

ひとこと要約

本稿では、中国語名前付きエンティティ認識（NER）のための、BERT、双方向GRU（BiGRU）、自己注意機構、およびキャプセルネットワーク（CapsNet）を組み合わせたB-SABCNモデルを提案する。文脈に応じたBERT埋め込みを活用し、BiGRUで順方向および逆方向の長距離依存関係を捉え、自己注意機構で顕著な特徴を強調し、CapsNetで階層的なエンティティ分類を実現することで、外部知識を一切用いずに2つの中国語NERデータセットで最先端の性能を達成した。それぞれのF1スコアは、MSRAで94.97%、Diabetesデータセットで78.16%であった。

ABSTRACT

Named entity recognition(NER) is one of the tasks of natural language processing(NLP). In view of the problem that the traditional character representation ability is weak and the neural network method is unable to capture the important sequence information. An self-attention-based bidirectional gated recurrent unit(BiGRU) and capsule network(CapsNet) for NER is proposed. This model generates character vectors through bidirectional encoder representation of transformers(BERT) pre-trained model. BiGRU is used to capture sequence context features, and self-attention mechanism is proposed to give different focus on the information captured by hidden layer of BiGRU. Finally, we propose to use CapsNet for entity recognition. We evaluated the recognition performance of the model on two datasets. Experimental results show that the model has better performance without relying on external dictionary information.

研究の動機と目的

• 従来の文字レベル表現およびRNNベースのモデルが中国語NERにおける長距離依存関係や重要な文脈的特徴を捉えることの限界を是正すること。
• BiGRUからの関連した隠れ特徴を動的に重み付けする自己注意機構の統合により、エンティティ認識の正確性を向上させること。
• スカラー出力をベクトルベースのキャプセルネットワークに置き換えることで、エンティティ特徴間の空間的関係を保持し、分類のロバスト性を向上させること。
• 外部辞書や言語資源に依存せずに、一般ドメインおよびドメイン特化型中国語NERデータセットにおけるモデルの性能を評価すること。

提案手法

• 文脈に応じた文字レベルの埋め込みを生成するために、事前学習済みのBERT言語モデルを活用し、staticなword2vecよりも優れた意味的表現を実現する。
• 入力系列内の双方向的な長距離依存関係を捉えるために、双方向ゲート付き再帰ユニット（BiGRU）を採用する。
• BiGRUの隠れ状態に自己注意機構を導入し、特徴に動的重みを付与することで、情報量の多いトークンを強調し、非エンティティ語からのノイズを低減する。
• エンティティ特徴間の階層的関係をモデル化するためにキャプセルネットワーク（CapsNet）を適用し、キャプセル出力はエンティティタイプの確率およびインスタンス化パラメータを表す。
• CRFと組み合わせてCapsNetの出力をシーケンスラベル付けに活用し、一貫性のあるエンティティ境界予測を保証する。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、標準的な最適化手法を用いて下流のNERタスクでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を強化したBiGRUにBERT埋め込みを組み合わせることで、中国語NERにおける文脈的特徴の表現が向上するか？
• RQ2 従来のスカラーベース分類と比較して、キャプセルネットワークの統合はエンティティ関係のモデル化および認識正確性の向上にどのように寄与するか？
• RQ3 自己注意機構は、シーケンスラベル付けにおける冗長な非エンティティ語の影響をどの程度低減するか？
• RQ4 提案されたB-SABCNモデルは、外部知識を一切用いずに、一般ドメインおよびドメイン特化型中国語NERベンチマークで既存のSOTA手法を上回る性能を示すか？
• RQ5 BERT、自己注意機構、CapsNetの各コンponentが全体の性能向上に果たす個別の貢献度は何か？

主な発見

• B-SABCNモデルは、MSRA中国語NERデータセットでF1スコア94.97%を達成し、BiLSTM-CRFベースラインを6ポイント上回った。
• ドメイン特化型のDiabetesデータセットでは、F1スコア78.16%を記録し、BiLSTM-CRFモデルを6.12ポイント、CNN-BiLSTM-CRFモデルを1.84ポイント上回った。
• アブレーションスタディの結果、BERT埋め込みが最も顕著な寄与を示し、多義語や文脈の処理が優れているため、word2vecベースの入力に比べてF1スコアが4ポイント向上した。
• 自己注意機構の寄与は、MSRAでF1スコア0.3ポイント、Diabetesで0.4ポイントの向上をもたらし、不要な特徴をフィルタリングし、重要なトークンへの注目を強化する有効性が示された。
• スカラー出力をキャプセルベースの表現に置き換えることで、MSRAでF1スコア0.16ポイント、Diabetesで0.11ポイントの向上が得られ、ベクトルベース分類がより判別力のある情報を保持していることが示された。
• BERT、自己注意機構、CapsNetを統合した完全なB-SABCNモデルは、両方のデータセットで最高の性能を達成し、すべてのコンポonentがNER正確性向上に相乗効果をもたらすことを裏付けた。