[논문 리뷰] Fast and Accurate End-to-End Span-based Semantic Role Labeling as Word-based Graph Parsing

Shilin Zhou, Qingrong Xia외 4명|arXiv (Cornell University)|2021. 12. 06.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 종단 간 스파ن 기반 의미 역할 분석(SRL)을 위한 새로운 단어 기반 그래프 파싱 프레임워크를 제안하며, 네 가지 그래프 체계(BES, BE, BIES, BII)를 통해 어휘 구간을 표현하고, 그 중 BES가 뛰어난 성능을 보임. 이 방법은 BERT 없이 초당 669개 문장을 처리하고 BERT를 사용할 경우 초당 252개 문장을 처리하며, 상태 기반 정확도와 빠른 속도를 달성함. 또한 구조적 타당성을 보장하기 위해 제약 조건이 있는 비터비 후처리 단계를 적용함.

ABSTRACT

This paper proposes to cast end-to-end span-based SRL as a word-based graph parsing task. The major challenge is how to represent spans at the word level. Borrowing ideas from research on Chinese word segmentation and named entity recognition, we propose and compare four different schemata of graph representation, i.e., BES, BE, BIES, and BII, among which we find that the BES schema performs the best. We further gain interesting insights through detailed analysis. Moreover, we propose a simple constrained Viterbi procedure to ensure the legality of the output graph according to the constraints of the SRL structure. We conduct experiments on two widely used benchmark datasets, i.e., CoNLL05 and CoNLL12. Results show that our word-based graph parsing approach achieves consistently better performance than previous results, under all settings of end-to-end and predicate-given, without and with pre-trained language models (PLMs). More importantly, our model can parse 669/252 sentences per second, without and with PLMs respectively.

연구 동기 및 목표

• 순차적 또는 다중 패assing 디코딩에 의존하는 기존 종단 간 스팬 기반 SRL 방법의 비효율성과 복잡성을 해결하기 위해.
• 스팬 기반 SRL을 단어 기반 그래프 파싱 작업으로 재정의하여, 술어와 청자 모두를 통합적이고 효율적으로 예측할 수 있도록 하기 위해.
• CWS와 NER에 영감을 받아 단어 수준에서 스팬 경계를 인코딩하는 효과적인 그래프 표현 체계를 조사하기 위해.
• 예를 들어, 겹치지 않는 청자 스팬과 유효한 술어-청자 관계와 같은 SRL 구조적 제약 조건을 강제하여 파싱된 그래프의 구조적 타당성을 보장하기 위해.
• 특히 종단 간 및 술어 제공 설정에서 높은 정확도와 높은 추론 속도를 동시에 달성하기 위해.

제안 방법

• 스팬 기반 SRL을 단어 기반 그래프 파싱 문제로 변환하며, 노드는 단어를 나타내고, 간선은 의미 역할을 가진 술어-청자 연결을 나타냄.
• 네 가지 그래프 체계(BES, BE, BIES, BII)를 제안하고 비교하여 단어 수준에서 청자 스팬을 인코딩함. 그 중 BES가 가장 뛰어난 성능을 보임.
• 모델는 Wang 등(2019)에서 유도된 이阶 그래프 파싱 아키텍처를 사용하며, 종단 간으로 학습되어 동시에 술어와 청자를 예측함.
• 제약 조건이 있는 비터비 디코딩 절차를 적용하여, 예를 들어 겹치지 않는 청자 스팬과 유효한 술어-청자 관계 등의 SRL 구조적 제약 조건을 강제함으로써 불법 그래프를 수정함.
• 훈련 중 술어 임베딩 삽입을 통해 공통 모델을 사용하여 종단 간 및 술어 제공 설정 모두를 지원함.
• 강화된 언어 모델(PLM)이 포함된 경우와 포함되지 않은 경우를 평가하여, 강건성과 확장성을 평가함. 여기에는 BERT와 ELMo 포함.

실험 결과

연구 질문

• RQ1 어느 그래프 체계(BES, BE, BIES, BII)가 단어 수준의 그래프 파싱 프레임워크에서 스팬 기반 SRL 구조를 가장 잘 표현하는가?
• RQ2 단어 기반 그래프 파싱이 기존의 BIO 기반 또는 스팬 기반 그래프 파싱 방법보다 종단 간 SRL에서 더 높은 정확도와 효율성을 달성할 수 있는가?
• RQ3 경계 정보 및 스팬 길이 정보(예: 단어 하나와 다중 단어 청자를 구분하는 것)를 포함할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ4 제약 조건이 있는 비터비 디코딩이 정확도를 손상시키지 않으면서 파생된 그래프의 구조적 타당성을 얼마나 향상시킬 수 있는가?
• RQ5 특히 PLM 증강 설정에서 이전의 SRL 파서와 비교해 본다면, 제안된 방법은 추론 속도에서 얼마나 잘 확장되는가?

주요 결과

• BES 체계는 CoNLL05 및 CoNLL12 데이터셋에서 모든 설정에서 다른 그래프 체계보다 뛰어난 성능을 보이며 일관되게 높은 F1 점수를 기록함.
• 종단 간 및 술어 제공 설정 모두에서 최고 수준의 성능을 달성함. ELMO를 사용할 경우 WSJ에서 +0.25 F1, Brown에서 +0.77 F1, CoNLL12-test에서 +0.44 F1 향상됨.
• BERT를 사용할 경우 성능 향상이 더욱 두드러지며, 강력한 사전 학습된 언어 모델과의 뛰어난 호환성을 보임.
• PLM 없이 초당 669개 문장을 처리하고, PLM를 사용할 경우 초당 252개 문장을 처리하여 이전 방법보다 뚜렷이 빠름.
• 제약 조건이 있는 비터비 후처리 단계는 정확도를 유지하면서도 불법 그래프를 효과적으로 제거하여 유효한 SRL 출력을 보장함.
• 세부 분석 결과, 청자 경계 정보를 인코딩하고 단어 하나와 다중 단어 청자를 구분하는 것이 모델 성능 향상에 크게 기여함.