[논문 리뷰] Dependency Parsing as MRC-based Span-Span Prediction

Leilei Gan, Yuxian Meng외 5명|arXiv (Cornell University)|2021. 05. 17.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 문장 내 부분 구간 간의 관계를 모델링하는 새로운 종속성 파싱 프레임워크를 제안한다. 기존의 토큰-토큰 관계가 아닌 스팬-스팬 관계를 모델링하기 위해, 스팬 연결을 기계적 독해(MRC) 작업으로 재정의한다. 두 단계의 접근 방식—스팬 제안 및 MRC 기반 스팬 연결—을 통해 PTB, CTB 및 Universal Dependencies 벤치마크에서 최신 기준 성능을 달성하며, 장거리 의존성과 누락된 스팬을 더 잘 처리함을 보여준다.

ABSTRACT

Higher-order methods for dependency parsing can partially but not fully address the issue that edges in dependency trees should be constructed at the text span/subtree level rather than word level. In this paper, we propose a new method for dependency parsing to address this issue. The proposed method constructs dependency trees by directly modeling span-span (in other words, subtree-subtree) relations. It consists of two modules: the {\it text span proposal module} which proposes candidate text spans, each of which represents a subtree in the dependency tree denoted by (root, start, end); and the {\it span linking module}, which constructs links between proposed spans. We use the machine reading comprehension (MRC) framework as the backbone to formalize the span linking module, where one span is used as a query to extract the text span/subtree it should be linked to. The proposed method has the following merits: (1) it addresses the fundamental problem that edges in a dependency tree should be constructed between subtrees; (2) the MRC framework allows the method to retrieve missing spans in the span proposal stage, which leads to higher recall for eligible spans. Extensive experiments on the PTB, CTB and Universal Dependencies (UD) benchmarks demonstrate the effectiveness of the proposed method. The code is available at \url{https://github.com/ShannonAI/mrc-for-dependency-parsing}

연구 동기 및 목표

• 토큰 수준의 종속성 파싱에서 단어 간 간선을 모델링하는 데서 비롯하는 근본적 한계를 해결한다. 이는 간선이 단어 간이 아니라 서브트리 간 관계로 모델링되어야 한다는 점을 반영한다.
• 그래프 기반 모델이 종속성 간선을 단어 쌍 간의 관계로만 간주하여 진정한 서브트리 수준의 의존성을 포착하지 못한다는 점을 해결한다.
• 링킹 단계에서 누락된 스팬을 검색할 수 있도록 가능성이 있는 스팬의 재현율을 향상시킨다.
• 최신 기술의 MRC 모델이 가지는 표현 능력을 활용하여 스팬 연결 성능을 향상시킨다.
• 특히 장거리 시퀀스와 장거리 의존성에서 스팬-스팬 모델링이 토큰-토큰 모델링보다 뛰어나다는 것을 입증한다.

제안 방법

• 두 모듈로 구성된 프레임워크를 제안한다: (1) 후보 스팬(루트, 시작, 종료)를 생성하는 텍스트 스팬 제안 모듈로, 이는 잠재적인 서브트리를 나타낸다.
• 스팬 연결 모듈을 기계적 독해(MRC) 작업으로 재정의한다. 여기서 한 스팬이 쿼리로 작용하여 연결된 부모 또는 자식 스팬을 검색한다.
• 사전 학습된 MRC 모델(예: BERT)을 사용하여 쿼리-스팬 컨텍스트 기반으로 가장 관련성이 높은 스팬을 점수 매기고 추출한다.
• 스코어 함수에 자식-부모 및 부모-자식 관계를 모두 모델링하는 상호 의존성 모듈을 통합한다.
• 쿼리 스팬과 답변 스팬의 스팬 기반 표현을 결합하는 스코어 함수를 설계하여 엔드 투 엔드 학습을 가능하게 한다.
• 예측된 연결에서 최종 종속성 트리를 구성하기 위해 미분 가능한 스팬 트리 디코딩 전략을 적용한다.

실험 결과

연구 질문

• RQ1 스패너-서브트리 수준에서 종속성 관계를 모델링하는 것이 토큰-단어 수준에서의 모델링보다 더 높은 파싱 성능을 이끌 수 있는가?
• RQ2 표준 스팬 제안 방법에 비해 MRC를 사용해 스팬 연결을 정의함으로써 재현율과 견고성이 얼마나 향상되는가?
• RQ3 제안된 방법은 토큰 수준 기반 모델 대비 장거리 의존성과 장기간 스팬을 어떻게 다루는가?
• RQ4 스코어 함수 내 각 구성 요소(예: 토큰-토큰 대비 스팬-스팬)가 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 MRC 기반의 연결 단계가 제안 단계에서 놓친 스팬을 효과적으로 복구하는가?

주요 결과

• 제안된 방법은 PTB, CTB 및 Universal Dependencies(UD) 벤치마크에서 새로운 최고 성능을 기록하였으며, PTB test-dev에서 UAS 97.18, LAS 95.43을 달성했다.
• 스팬 연결 단계는 특히 제안 모듈이 유효한 스팬을 놓칠 경우 재현율을 크게 향상시키며, 후보 스팬 수가 적어도 높은 성능을 유지한다.
• 스코어 함수에서 스팬 기반 구성 요소를 제거하면 성능 저하가 발생한다: 토큰-쿼리/토큰-답변 조합에서 UAS는 0.57p, LAS는 0.34p 감소한다.
• 긴 문장(길이 > 50)에서 Biaffine 파싱보다 성능이 뛰어나며, Biaffine의 성능이 0.97에서 0.964로 급격히 하락하는 데 반해, 제안된 모델은 안정성을 유지한다.
• 장거리 의존성 길이와 장기간 서브트리 스팬에서 특히 우수한 성능를 보이며, 복잡한 문법적 구조에서 스팬 수준의 모델링이 더 효과적임을 확인한다.
• 상호 의존성 모듈은 양방향 관계를 포착함으로써 성능을 향상시키며, 이를 제거하면 UAS는 0.06p, LAS는 0.06p 감소한다.