[논문 리뷰] Syntax-aware Multilingual Semantic Role Labeling

Shexia He, Zuchao Li외 1명|arXiv (Cornell University)|2019. 09. 01.

Natural Language Processing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 문법 규칙에 기반한 새로운 문장 구조 기반의 어휘 후보 정제 방법을 사용하여 통합된 신경망 SRL 프레임워크에 문법 정보를 효과적으로 통합하는 문법 인식 다국어 의미역할표기 모델을 제안한다. 이 정제 기법과 맥락 기반 단어 표현을 활용함으로써, 이 모델은 CoNLL-2009 벤치마크 언어 7개 전부에서 새로운 최고 성능을 달성하였으며, 2009년 이래로 처음으로 종합적인 다국어 SRL 성능 향상을 이룬다.

ABSTRACT

Recently, semantic role labeling (SRL) has earned a series of success with even higher performance improvements, which can be mainly attributed to syntactic integration and enhanced word representation. However, most of these efforts focus on English, while SRL on multiple languages more than English has received relatively little attention so that is kept underdevelopment. Thus this paper intends to fill the gap on multilingual SRL with special focus on the impact of syntax and contextualized word representation. Unlike existing work, we propose a novel method guided by syntactic rule to prune arguments, which enables us to integrate syntax into multilingual SRL model simply and effectively. We present a unified SRL model designed for multiple languages together with the proposed uniform syntax enhancement. Our model achieves new state-of-the-art results on the CoNLL-2009 benchmarks of all seven languages. Besides, we pose a discussion on the syntactic role among different languages and verify the effectiveness of deep enhanced representation for multilingual SRL.

연구 동기 및 목표

• 영어와 중국어를 초과하는 언어들에 대해 오랫동안 지속된 다국어 의미역할표기 성능 격차를 해소하기.
• 통합된 다국어 SRL 프레임워크 내에서 문법 통합과 깊이 있는 맥락 기반 단어 표현의 효과성을 탐구하기.
• 다양한 언어 간에 문법적 구조를 효과적으로 통합할 수 있는 단순하면서도 효과적인 방법 개발하기.
• 거리 기반 규칙에 의존하는 기존의 문법 정제 방법의 한계를 극복하기 — 이러한 방법들은 언어 간 일반화에 실패함.
• CoNLL-2009의 7개 언어 전부에서 일관된 성능 향상을 달성하여, 2009년 이후로 변화하지 않았던 결과를 업데이트하기.

제안 방법

• 문장 구조 기반 의존성 트리 구조에 기반한 새로운 어휘 후보 정제 방법을 제안하며, 거리 기반 k-순서 정제를 문법 인식 필터링으로 대체함.
• BiLSTM 인코더와 이중선형 스코어러 사이에 정제 레이어를 통합하여 분류 이전에 불가능한 어휘 후보를 제거함.
• 7개 언어 전부에 동일한 모델 아키텍처를 사용하여 공동 학습을 가능하게 하되, 언어별로 특화된 문법 패턴 유지를 보장함.
• 맥락 기반 단어 표현(예: BERT 방식)을 입력 임베딩으로 사용하여 의미적 및 문법적 이해를 향상시킴.
• 이중선형 어텐션을 활용한 역할 분류를 위한 문장-어휘 쌍 분류를 통해 종합적인 엔드 투 엔드 학습을 수행함.
• 표준 CoNLL-2009 평가 지표(예: F1 점수 및 문법 품질 측정을 위한 UAS)를 사용하여 성능 평가 수행함.

실험 결과

연구 질문

• RQ1 문법 인식 어휘 정제 메커니즘이 다양한 언어에서 다국어 SRL 성능을 향상시킬 수 있는가?
• RQ2 깊이 있는 맥락 기반 단어 표현과 결합했을 때, 문법 정보는 다국어 SRL에 어떻게 기여하는가?
• RQ3 규칙 기반 정제를 통한 통합 모델 아키텍처가 다양한 문법적 특성을 가진 언어 간에 효과적으로 일반화되는가?
• RQ4 왜 k-순서 정제 방법은 최신 SRL 모델에서 성능 향상을 이끌지 못하는가? 그리고 문법 기반 대안은 이를 극복할 수 있는가?
• RQ5 기본 모델이 이미 문법 무관이면서 강력한 상황에서, 문법 정보는 SRL 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 문법 인식 어휘 정제 방법은 CoNLL-2009 벤치마크 언어 7개 전부(Catalan, Chinese, Czech, English, German, Japanese, Spanish)에서 새로운 최고 성능 F1 점수를 달성함.
• 카탈로니아어와 스페인어의 경우, 정답 문법 정보를 기반으로 한 최상위 1개 어휘 정제로 100% 커버리지 달성하여 각각 1.43% 및 1.35%의 성능 향상을 기록함.
• 맥락 기반 단어 표현을 사용한 모델은 모든 언어에서 이전에 보고된 결과를 모두 초월하며, CoNLL-2009 공동 작업 이래로 처음으로 전체적으로 업데이트된 결과를 기록함.
• 높은 품질의 예측된 문법 정보(UAS 기준)는 모델 성능을 추가로 향상시켜, 다국어 SRL에서 문법 정보의 가치를 확인함.
• k-순서 정제 방법은 대부분의 언어에서 성능 향상을 이끌었지만, 영어에서는 성능 향상이 없었으며, 이는 현재의 문법 통합 방법의 한계를 시사함.
• 본 연구는 문법 정보와 깊이 있는 강화된 표현이 영어 뿐 아니라 다양한 다국어 SRL 작업 전반에 걸쳐 유익하다는 것을 입증함.