[論文レビュー] A Boundary Regression Model for Nested Named Entity Recognition

Yanping Chen, Lefei Wu+8 more|arXiv (Cornell University)|Nov 29, 2020

Topic Modeling被引用数 16

ひとこと要約

本稿では、エンティティ境界を連続値として表現し、回帰を用いてその位置を精緻化することで、ネストされた名前付きエンティティ認識のための境界回帰（BR）モデルを提案する。共有された深層表現を活用し、全スパンの列挙を回避することで、SOTAの性能を達成する、多目的学習フレームワークを導入している。

ABSTRACT

Recognizing named entities (NEs) is commonly conducted as a classification problem that predicts a class tag for a word or a NE candidate in a sentence. In shallow structures, categorized features are weighted to support the prediction. Recent developments in neural networks have adopted deep structures that map categorized features into continuous representations. This approach unfolds a dense space saturated with high-order abstract semantic information, where the prediction is based on distributed feature representations. In this paper, positions of NEs in a sentence are represented as continuous values. Then, a regression operation is introduced to regress boundaries of NEs in a sentence. Based on boundary regression, we design a boundary regression model to support nested NE recognition. It is a multiobjective learning framework, which simultaneously predicts the classification score of a NE candidate and refine its spatial location in a sentence. It has the advantage to resolve nested NEs and support boundary regression for locating NEs in a sntence. By sharing parameters for predicting and locating, this model enables more potent nonlinear function approximators to enhance model discriminability. Experiments demonstrate state-of-the-art performance for nested NE recognition\footnote{Our codes to implement the BR model are available at: \url{https://github.com/wuyuefei3/BR}.}.

研究の動機と目的

• 逐次ラベル付けモデルがネストされた名前付きエンティティ構造を捉えることの制限を解消すること。
• すべての可能なNEスパンを列挙するスパン分類法の計算非効率性とデータの不均衡を克服すること。
• コンピュータビジョンにおけるオブジェクト検出技術を自然言語処理に適応させることで、エンティティ境界を連続値としてモデル化すること。
• 分類と境界の精緻化を同時に実行する統合的な深層学習フレームワークを設計すること。
• 分類と回帰ヘッド間のパラメータ共有により、モデルの識別力と一般化性能を向上させること。

提案手法

• 離散的なトークン位置ではなく、連続値として名前付きエンティティ境界を表現し、回帰に基づく精緻化を可能にする。
• 共有された特徴抽出、領域提案ネットワーク、分類および回帰ヘッドを別々に持つ多目的学習フレームワークを設計する。
• 訓練中に予測された境界位置と真値の間のオフセットを最小化するために線形層を用いる。
• 領域提案モジュールを介して候補スパン（テキスト上のボクシングボックス）を生成し、境界回帰によってその空間的位置を精緻化する。
• 文から高レベルの意味的表現を抽出するために深層ニューラルネットワークを用い、その後でクラススコアと境界オフセットを同時に予測する。
• 分類精度と境界局在精度の両方を同時に最適化するエンド・トゥ・エンドの訓練を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散的シーケンスラベリングと比較して、連続的境界回帰はネストされた名前付きエンティティ認識の精度を向上させるか？
• RQ2 分類と境界回帰の共同学習は、ネストされたNEにおけるモデル性能をどのように向上させるか？
• RQ3 境界回帰は、NE認識における全スパン列挙の必要性をどの程度低減できるか？
• RQ4 提案されたBRモデルは、異なるネスト比率や複雑な文法的構造に一般化可能か？
• RQ5 分類と回帰ヘッド間のパラメータ共有は、モデルの識別力と効率性にどのように影響するか？

主な発見

• BRモデルは、ベンチマークデータセットにおいて、既存の手法を上回るSOTAの性能を達成している。
• 境界予測を連続値上の回帰タスクとして扱うことで、スパン列挙の制限を回避し、ネストされたNEを効果的に解消している。
• 分類と境界回帰の共同最適化により、局在精度が向上し、複雑なネスト構造に対しても一般化性能が向上している。
• 連続的境界表現の使用により、重複するか、深くネストされたエンティティに対しても、より正確な空間的精緻化が可能になっている。
• スパンベースのアプローチで一般的なデータの不均衡や高い計算複雑性の問題に対しても、モデルは頑健である。
• 実験的結果から、共有特徴抽出を伴う多目的学習フレームワークが、モデルの識別力と効率性を向上させることを確認している。