[論文レビュー] Bottom-Up Constituency Parsing and Nested Named Entity Recognition with Pointer Networks

Songlin Yang, Kewei Tu|arXiv (Cornell University)|Oct 11, 2021

Topic Modeling被引用数 12

ひとこと要約

本稿では、後行順巡回機構を備えたポ인터ネットワークを用いた、新たなボトムアップ構文解析およびネスト型名前付きエンティティ認識（NER）フレームワークを提案する。連続して生成されるスパン間の共有境界を追跡することで、線形時間で有効なn-ary木を効率的に構築可能であり、BERTベースのモデルにおいてPenn Treebank（PTB）データセットで96.01の最先端F1スコアを達成するとともに、ネスト型NERベンチマークでも優れた性能を示した。

ABSTRACT

Constituency parsing and nested named entity recognition (NER) are similar tasks since they both aim to predict a collection of nested and non-crossing spans. In this work, we cast nested NER to constituency parsing and propose a novel pointing mechanism for bottom-up parsing to tackle both tasks. The key idea is based on the observation that if we traverse a constituency tree in post-order, i.e., visiting a parent after its children, then two consecutively visited spans would share a boundary. Our model tracks the shared boundaries and predicts the next boundary at each step by leveraging a pointer network. As a result, it needs only linear steps to parse and thus is efficient. It also maintains a parsing configuration for structural consistency, i.e., always outputting valid trees. Experimentally, our model achieves the state-of-the-art performance on PTB among all BERT-based models (96.01 F1 score) and competitive performance on CTB7 in constituency parsing; and it also achieves strong performance on three benchmark datasets of nested NER: ACE2004, ACE2005, and GENIA. Our code is publicly available at \url{https://github.com/sustcsonglin/pointer-net-for-nested}.

研究の動機と目的

• 従来のトップダウン解析手法の限界（誤差伝搬や部分木特徴の活用困難）を解消するため、ボトムアップ解析アプローチを提案すること。
• 二分木化を行わず、非二分木構文解析を線形時間で効率的に行えるようにすること。
• ネスト型で非クロスイングなスパンを持つ構文解析とネスト型NERの共通構造的性質を活用し、同一フレームワークで統合すること。
• 構造的デコーダーを用いて部分木表現を活用することで、ネスト型NERの性能を向上させること。
• カーソル機構による共有境界の追跡により、デコーディング中に構造的一致性を維持すること。

提案手法

• ポストオーダー順巡回でスパンを生成するポインタネットワークデコーダを備えた、シーケンス・トゥ・シーケンスフレームワークを採用し、連続するスパンが境界を共有することを保証する。
• カーソルが直前に生成されたスパンの右端境界を追跡し、ポインタネットワークにより次の境界の予測を誘導する。
• 以前に生成された子スパンの隠れ状態を活用することで、長大な親スパンの予測に豊富な部分木特徴を活用可能となる。
• 各新しいスパンが有効な境界に基づいて構築されるため、デコード中に構造的整合性が保たれ、常に有効な木構造が生成される。
• 予測された境界位置の交差エントロピー損失を用いてエンド・ツー・エンドで学習し、推論にはグリーディデコーディングを採用する。
• 名前付きエンティティを構文木内のスパンとして扱い、文全体をカバーするルートノードを設けることで、スパンの断片を1つの木に統合する。

実験結果

リサーチクエスチョン

• RQ1 ポインタネットワークを用いたボトムアップ解析アプローチは、従来のトップダウン手法に比べ、性能と効率性の両面で優れているか？
• RQ2 提案された境界追跡機構により、二分木化を行わず非二分木の線形時間解析が可能になるか？
• RQ3 同じモデルアーキテクチャが、構文解析の変種と見なせるネスト型NERを効果的に処理できるか？
• RQ4 構造的デコーダーによる部分木特徴の活用により、誤差伝搬が軽減され、長スパンの予測精度が向上するか？
• RQ5 構造的一致性を維持しながら、構文解析およびネスト型NERの両タスクで競争力ある性能を達成できるか？

主な発見

• 本モデルは、すべてのBERTベースのモデルの中でPenn Treebank（PTB）データセットで96.01の最先端F1スコアを達成し、先行研究を上回った。
• CTB7構文解析ベンチマークでも競争力ある性能を示し、複数のツリークォークにわたる一般化能力を示した。
• ネスト型NERでは、ACE2004、ACE2005、GENIAの3つの標準ベンチマークで優れた結果を達成し、多様なドメインにわたり有効であることが示された。
• モデルは線形時間で文を解析でき、チャートベースや再帰的トップダウン手法と比較して、推論複雑度が顕著に低減された。
• ポストオーダー順巡回と境界追跡の組み合わせにより、n-ary木の直接モデリングが可能となり、二分木化の必要がなく、元の木構造が保持された。
• Fuら（2021）の先行研究に比べ、性能と時間計算量の両面で優れており、O(n^3)の解析複雑度を達成したのに対し、彼らの手法はO(n^4)であった。