[논문 리뷰] Bottom-Up Constituency Parsing and Nested Named Entity Recognition with Pointer Networks

Songlin Yang, Kewei Tu|arXiv (Cornell University)|2021. 10. 11.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 후위 순회 메커니즘을 갖춘 포인터 네트워크를 사용하여 새로운 바텀업 구성 구문 분석 및 네스티드 명명된 실체 인식(NER) 프레임워크를 제안한다. 연속적으로 생성된 스팬 간의 공유 경계를 추적함으로써 모델은 선형 시간 내에 유효한 n-항 트리를 효율적으로 구성하며, BERT 기반 모델 중에서 PTB 데이터셋에서 최고 수준의 F1 스코어 96.01을 달성하고 네스티드 NER 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

Constituency parsing and nested named entity recognition (NER) are similar tasks since they both aim to predict a collection of nested and non-crossing spans. In this work, we cast nested NER to constituency parsing and propose a novel pointing mechanism for bottom-up parsing to tackle both tasks. The key idea is based on the observation that if we traverse a constituency tree in post-order, i.e., visiting a parent after its children, then two consecutively visited spans would share a boundary. Our model tracks the shared boundaries and predicts the next boundary at each step by leveraging a pointer network. As a result, it needs only linear steps to parse and thus is efficient. It also maintains a parsing configuration for structural consistency, i.e., always outputting valid trees. Experimentally, our model achieves the state-of-the-art performance on PTB among all BERT-based models (96.01 F1 score) and competitive performance on CTB7 in constituency parsing; and it also achieves strong performance on three benchmark datasets of nested NER: ACE2004, ACE2005, and GENIA. Our code is publicly available at \url{https://github.com/sustcsonglin/pointer-net-for-nested}.

연구 동기 및 목표

• 기존의 탑다운 파싱 방법의 한계, 즉 오류 전파 및 하위수 특징 활용 불가능성을 해결하기 위해 바텀업 파싱 접근법을 제안한다.
• 이분화 없이도 비이진 구성 트리의 효율적이고 선형 시간 내 파싱을 가능하게 한다.
• 구성 구문 분석과 네스티드 NER를 공통 프레임워크로 통합하기 위해 네스티드이고 교차하지 않는 스팬이라는 공통 구조적 특성을 활용한다.
• 구조적 디코더를 통해 하위수 표현을 활용하여 네스티드 NER의 성능을 향상시킨다.
• 커서 메커니즘을 통해 공유 경계를 추적함으로써 디코딩 중 구조 일관성을 유지한다.

제안 방법

• 모델은 포스트오더 순회 방식으로 스팬을 생성하는 포인터 네트워크 디코더를 갖춘 시퀀스 투 시퀀스 프레임워크를 사용하며, 이로써 연속적인 스팬 간에 경계가 공유됨을 보장한다.
• 커서는 가장 최근에 생성된 스팬의 오른쪽 경계를 추적하며, 포인터 네트워크를 통해 다음 경계 예측을 안내한다.
• 이전에 생성된 자식 스팬의 은닉 상태를 활용함으로써, 모델은 더 긴 부모 스팬을 예측하기 위해 풍부한 하위수 특징을 활용할 수 있다.
• 파싱 과정은 본질적으로 일관성이 있으며, 각 신규 스팬이 유효한 경계 위에 구축되므로 오직 유효한 트리만 생성된다.
• 예측된 경계 위치에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습되며, 추론에는 그리디 디코딩이 사용된다.
• 동일한 아키텍처를 네스티드 NER에 적용하기 위해, 명명된 실체를 구성 트리의 스팬으로 간주하고 전체 문장을 포함하는 루트 노드를 설정함으로써 조각들을 하나의 트리로 통합한다.

실험 결과

연구 질문

• RQ1 포인터 네트워크를 갖춘 바텀업 파싱 접근법이 기존의 탑다운 방법보다 구성 구문 분석에서 더 높은 성능과 효율성을 달성할 수 있는가?
• RQ2 제안된 경계 추적 메커니즘이 이분화 없이도 비이진 트리의 선형 시간 내 파싱을 가능하게 하는가?
• RQ3 동일한 모델 아키텍처가 구성 구문 분석의 변종으로 간주함으로써 네스티드 NER를 효과적으로 처리할 수 있는가?
• RQ4 구조적 디코더를 통해 하위수 특징을 활용하면 오류 전파가 감소하고 장거리 스팬 예측 성능이 향상되는가?
• RQ5 모델이 구성 구문 분석과 네스티드 NER 작업 모두에서 경쟁력 있는 성능을 달성하면서도 구조 일관성을 유지할 수 있는가?

주요 결과

• 모델은 모든 BERT 기반 모델 중에서 펜 트리뱅크(PTB)에서 최고 수준의 F1 스코어 96.01을 달성하며, 이는 이전 방법들을 능가한다.
• 모델은 CTB7 구성 구문 분석 벤치마크에서 경쟁력 있는 성능을 기록하여 다양한 트리뱅크에 대한 강력한 일반화 능력을 보여준다.
• 네스티드 NER에서, ACE2004, ACE2005, GENIA의 세 가지 표준 벤치마크에서 뛰어난 성능을 기록하여 다양한 도메인에서의 효과성을 입증한다.
• 모델은 선형 시간 내에 문장을 파싱하여 차트 기반 또는 재귀적 탑다운 접근법 대비 추론 복잡도를 크게 감소시킨다.
• 포스트오더 순회와 경계 추적의 사용은 n-항 트리의 직접 모델링을 가능하게 하며, 이분화가 필요 없고 원래의 트리 구조를 유지한다.
• 모델는 Fu 등(2021)의 이전 최고 성능 방법보다 성능과 시간 복잡도 면에서 모두 뛰어나며, 그들의 O(n^4) 접근 대비 더 낮은 O(n^3) 파싱 복잡도를 갖는다.