[논문 리뷰] Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments

Yu Zhang, Qingrong Xia외 4명|arXiv (Cornell University)|2021. 10. 13.

Natural Language Processing Techniques참고 문헌 84인용 수 9

한 줄 요약

이 논문은 평탄한 의미적 서술어-논항 구간을 잠재적 부분트리로 모델링하여, 새로운 스팬 제약 트리CRF를 통해 의미 역할 추론(SRL)을 의존 구조 분석으로 환원한다. 이 방법은 내부 논항 구조를 명시적으로 포착하고 전역 최적화를 가능하게 하여 CoNLL05 및 CoNLL12 벤치마크에서 기존의 모든 구문 무관 SRL 접근법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Semantic role labeling (SRL) is a fundamental yet challenging task in the NLP community. Recent works of SRL mainly fall into two lines: 1) BIO-based; 2) span-based. Despite ubiquity, they share some intrinsic drawbacks of not considering internal argument structures, potentially hindering the model's expressiveness. The key challenge is arguments are flat structures, and there are no determined subtree realizations for words inside arguments. To remedy this, in this paper, we propose to regard flat argument spans as latent subtrees, accordingly reducing SRL to a tree parsing task. In particular, we equip our formulation with a novel span-constrained TreeCRF to make tree structures span-aware and further extend it to the second-order case. We conduct extensive experiments on CoNLL05 and CoNLL12 benchmarks. Results reveal that our methods perform favorably better than all previous syntax-agnostic works, achieving new state-of-the-art under both end-to-end and w/ gold predicates settings.

연구 동기 및 목표

• 기존 SRL 방법이 내부 논항 구조를 평탄한 스팬으로 다루기 때문에 발생하는 한계를 해결하기 위해.
• 논항 스팬을 잠재적 부분트리로 간주하여 스팬 기반 SRL을 의존 구조 분석으로 환원하기 위해.
• 논항 경계 제약 조건을 강제하고 논항 간에 잘못된 의존 관계를 방지하기 위해 스팬 제약 트리CRF를 설계하기 위해.
• 형제 요소를 포함하여 이차 모델링을 통해 논항 간의 고차원 의존 관계를 포착함으로써 구조 인식 능력을 향상시키기 위해.
• 외부 구문 지도 정보에 의존하지 않고 최신 기술 성능을 달성하기 위해.

제안 방법

• 논문은 서술어-논항 구조를 부분 관측된 의존 트리로 모델링하며, 논항 스팬은 잠재적 부분트리로 간주한다.
• 스펙트럼 제약 트리CRF를 도입하여 구조적 제약 조건을 강제하며, 논항 경계를 넘는 간선과 다중 헤드 의존 관계를 금지한다.
• 동적 프로그래밍을 사용하여 잠재 트리 구조에 대한 전역 추론을 수행하고, 학습 중에 관측되지 않은 부분트리를 적분한다.
• 형제 요소를 통합하여 이차 모델링으로 확장함으로써 논항 간의 고차원 의존 관계를 포착한다.
• 모델은 엔드 투 엔드 학습이 가능하며, 골드 구문 트리나 외부 언어학적 지식을 필요로 하지 않는다.
• 모델은 엔드 투 엔드 및 골드 서술어 설정 모두에서 CoNLL05 및 CoNLL12 벤치마크에서 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 평탄한 논항 스팬을 잠재적 부분트리로 모델링하면 내부 문법적 구조를 포착함으로써 SRL 성능 향상이 가능한가?
• RQ2 스펙트럼 제약 트리CRF는 의존 관계를 학습하는 동안 논항 경계 제약 조건을 효과적으로 강제할 수 있는가?
• RQ3 형제 요소를 포함한 이차 모델링이 일차 모델링 대비 SRL 성능 향상에 기여하는가?
• RQ4 제안된 방법은 외부 구문 지도 정보에 의존하지 않고 최신 기술 성능을 달성할 수 있는가?
• RQ5 유도된 의존 트리가 인간의 어노테이션과 일치하는 타당한 문법적 구조를 가지는가?

주요 결과

• 제안된 방법은 엔드 투 엔드 및 골드 서술어 설정 모두에서 CoNLL05 및 CoNLL12 벤치마크에서 새로운 최신 기술 성능을 달성한다.
• 스펙트럼 제약 트리CRF는 논항 경계를 넘는 잘못된 의존 관계와 다중 헤드를 효과적으로 방지한다.
• 형제 요소를 포함한 이차 모델링은 일차 모델링 대비 뚜렷한 성능 향상을 이끌어내며, 의존 구조 분석 문헌의 결과와 일치한다.
• 잠재적 부분트리 모델링을 통해 장거리 의존 관계에 대한 성능 향상과 전역적인 구조 일관성 향상이 이루어진다.
• 정성 분석을 통해 도출된 의존 트리가 언어학적으로 타당하며 인간 어노테이션과 일치하는 것으로 확인된다.
• 모든 이전의 구문 무관 SRL 접근법을 능가하며, 내부 논항 구조를 명시적으로 모델링하는 데서 비롯하는 이점이 입증된다.