[논문 리뷰] Dependency or Span, End-to-End Uniform Semantic Role Labeling

Zuchao Li, Shexia He외 5명|arXiv (Cornell University)|2019. 01. 16.

Natural Language Processing Techniques참고 문헌 31인용 수 18

한 줄 요약

이 논문은 공통된 어휘 표현과 双선형 스코어링을 사용하여 스파너-기반 및 의존성-기반 의미 역할 분류(SRL)를 위한 통합된 엔드 투 엔드 신경망 모델을 제안한다. 문법적 입력 없이 예측을 동시에 수행함으로써 CoNLL 2005, 2012(스파너 SRL) 및 CoNLL 2008, 2009(의존성 SRL) 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Semantic role labeling (SRL) aims to discover the predicateargument structure of a sentence. End-to-end SRL without syntactic input has received great attention. However, most of them focus on either span-based or dependency-based semantic representation form and only show specific model optimization respectively. Meanwhile, handling these two SRL tasks uniformly was less successful. This paper presents an end-to-end model for both dependency and span SRL with a unified argument representation to deal with two different types of argument annotations in a uniform fashion. Furthermore, we jointly predict all predicates and arguments, especially including long-term ignored predicate identification subtask. Our single model achieves new state-of-the-art results on both span (CoNLL 2005, 2012) and dependency (CoNLL 2008, 2009) SRL benchmarks.

연구 동기 및 목표

• 스파너-기반 및 의존성-기반 SRL을 하나의 엔드 투 엔드 프레임워크로 통합하기 위해.
• 예측을 동시에 수행함으로써 일반적으로 忽시되는 예측 식별 작업까지 포함하여 예측어 및 어휘어를 함께 예측하기 위해.
• 문법적 조건에 관계없이 의존성 SRL과 스파너 SRL 중 어느 것이 더 효과적인지 평가하기 위해.
• ELMo와 이중선형 스코어링이 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 모든 단어를 잠재적 예측어로 간주하고 모든 스파너/단어를 후보 어휘어로 간주함으로써 스파너 SRL 모델을 확장한다.
• 스파너 및 의존성 SRL 레이블 형식 둘 다를 처리할 수 있도록 하는 통합된 어휘어 표현 방식을 도입한다.
• 맥락 기반 단어 표현에서 직접 예측어-어휘어 관계를 예측하기 위해 이중선형 스코어러를 사용한다.
• 문법적 및 의미적 의존성을 더 잘 모델링하기 위해 ELMo 임베딩을 맥락 기반 단어 표현으로 사용한다.
• 파이프라인 오류를 방지하기 위해 모든 예측어와 어휘어를 동시에 예측하기 위해 공동 학습을 적용한다.
• 정확한 문법 정보를 사용하여 스파너 레이블을 의존성 형식으로 변환하기 위해 헤드 찾기 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 통합된 표현 방식을 사용하여 하나의 엔드 투 엔드 모델이 스파너-기반 및 의존성-기반 SRL을 효과적으로 처리할 수 있는가?
• RQ2 스파너-기반 SRL과 비교했을 때, 문법적 조건에 관계없이 의존성-기반 SRL이 더 효과적인가?
• RQ3 ELMo 표현 방식과 이중선형 스코어링은 통합 SRL에서 모델 성능에 어떻게 기여하는가?
• RQ4 예측어와 어휘어를 동시에 예측하는 방식이 파이프라인 방식보다 두 SRL 형태 모두에서 더 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 CoNLL 2005에서 87.7%의 F1 점수, CoNLL 2012에서 86.0%의 F1 점수로 스파너 SRL 분야에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였다.
• 의존성 SRL의 경우, CoNLL 2009 WSJ에서 90.4%의 F1 점수, CoNLL 2008 WSJ에서 85.3%의 F1 점수를 기록하여 새로운 SOTA 결과를 수립하였다.
• ELMo를 제거하면 CoNLL 2005에서 F1 점수가 3.3~3.5 포인트 감소하여, ELMo가 스파너 SRL에 강력한 기여를 한다는 것을 보여준다.
• 이중선형 스코어러를 피드포워드 네트워크로 대체하면 F1 점수가 0.5~1.6 포인트 감소하여, 이중선형 스코어링의 우월성을 입증한다.
• 골드 문법 정보를 사용해 스파너 레이블을 의존성 형식으로 변환한 결과, 모델의 의존성 성능(90.4%)이 스파너 변환의 상한선(89.2%)을 초월하여 의존성 SRL이 더 유리함을 시사한다.
• 모델는 심지어 골드 문법 정보를 사용해 스파너 결과를 변환하더라도, 문법적 조건에 관계없이 의존성 SRL이 스파너 SRL보다 더 효과적임을 입증한다.