[논문 리뷰] A Full End-to-End Semantic Role Labeler, Syntax-agnostic Over Syntax-aware?

Jiaxun Cai, Shexia He외 2명|arXiv (Cornell University)|2018. 08. 11.

Natural Language Processing Techniques참고 문헌 36인용 수 11

한 줄 요약

이 논문은 종속관계 기반 의미 역할 부여에서 문법적 구조에 의존하지 않는 첫 번째 완전한 엔드 투 엔드, 문법 구조 무관 신경망 모델을 제안한다. 이 모델은 단일 통합 프레임워크 내에서 동사 의미 해석과 청자 역할 부여를 동시에 수행한다. 비선형 변환을 적용한 BiLSTM 인코더와 이중선형 스코어러를 사용하여, CoNLL-2008에서 F1 점수 85.0%, CoNLL-2009 영어에서 89.6%, CoNLL-2009 중국어에서 84.4%의 최고 성능을 기록하였으며, 문법적 분석 특징을 사용하지 않음에도 불구하고 모든 알려진 문법 구조 의존 시스템을 능가한다.

ABSTRACT

Semantic role labeling (SRL) is to recognize the predicate-argument structure of a sentence, including subtasks of predicate disambiguation and argument labeling. Previous studies usually formulate the entire SRL problem into two or more subtasks. For the first time, this paper introduces an end-to-end neural model which unifiedly tackles the predicate disambiguation and the argument labeling in one shot. Using a biaffine scorer, our model directly predicts all semantic role labels for all given word pairs in the sentence without relying on any syntactic parse information. Specifically, we augment the BiLSTM encoder with a non-linear transformation to further distinguish the predicate and the argument in a given sentence, and model the semantic role labeling process as a word pair classification task by employing the biaffine attentional mechanism. Though the proposed model is syntax-agnostic with local decoder, it outperforms the state-of-the-art syntax-aware SRL systems on the CoNLL-2008, 2009 benchmarks for both English and Chinese. To our best knowledge, we report the first syntax-agnostic SRL model that surpasses all known syntax-aware models.

연구 동기 및 목표

• 종속관계 기반 SRL에서 동사 의미 해석과 청자 역할 부여를 통합하는 완전한 엔드 투 엔드 신경망 모델을 개발하는 것.
• 오랫동안 지속된 문법적 구조가 고성능 SRL에 필수적이라는 믿음을 도전하기 위해 문법적 분석 특징에 의존하지 않는 것.
• 어떤 종류의 문법 정보도 사용하지 않고 영어 및 중국어 CoNLL 벤치마크에서 최고 성능을 달성하는 것.
• 더 단순한 문법 구조 무관 아키텍처가 복잡한 문법 구조 의존 모델을 능가할 수 있는지 탐색하는 것.

제안 방법

• 동사와 청자를 별도의 벡터 공간에 매핑하기 위해 비선형 변환을 적용한 깊은 BiLSTM 인코더.
• 문장 내 모든 단어 쌍에 대해 의미 역할을 직접 예측하는 이중선형 주목 스코어러.
• 가상의 루트 노드 $<$VR$>$와 '없음' 레이블을 사용하여 단어 쌍 간의 관계를 분류하는 작업으로 SRL을 모델링.
• 파이프라인 서브태스크를 피하기 위해 단일 통합 프로세스에서 동사 의미와 청자 역할을 동시에 예측.
• 불균형한 레이블 분포를 처리하기 위해 편향 항목을 포함한 이중선형 메커니즘을 사용하여 일반화 성능 향상.
• 문법적 분석 특징을 전혀 사용하지 않으며, 외부 문법 입력 없이 원시 텍스트에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 문법 구조에 의존하지 않는 엔드 투 엔드 모델이 문법적 분석에 의존하지 않고 종속관계 기반 SRL에서 최고 성능을 달성할 수 있는가?
• RQ2 동사 의미 해석과 청자 역할 부여를 하나의 통합 예측 프레임워크로 통합하면 파이프라인 방식보다 성능이 향상되는가?
• RQ3 성능 향상은 단지 아키텍처 혁신 때문인지, 아니면 향상된 단어 표현이나 문법적 특징 때문인가?
• RQ4 동일한 조건에서 평가했을 때, 문법 구조 의존 시스템과 비교해 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 문법 구조 무관 모델은 CoNLL-2008 영어에서 F1 점수 85.0%를 기록하여 이전에 보고된 모든 문법 구조 의존 모델을 능가한다.
• CoNLL-2009 영어에서는 F1 점수 89.6%를 달성하여, 문법 구조 무관 및 문법 구조 의존 시스템 모두 최고 성능을 기록한다.
• 중국어의 경우 CoNLL-2009에서 F1 점수 84.4%를 기록하여, 다시 한 번 모든 알려진 문법 구조 의존 모델을 능가한다.
• 문법 구조 의존 프루닝을 결합했을 때 성능 향상이 거의 없어, 모델가 문법 입력에 거의 민감하지 않음을 보여주며, 문법적 노이즈에 대해 강건함을 시사한다.
• 성능 향상의 주요 원인은 아키텍처 설계—특히 이중선형 스코어러와 비선형 인코더—에 기인하며, 향상된 단어 표현 때문이 아니다.
• 이 연구는 파이프라인 서브태스크 없이 하나의 통합 프레임워크에서 동사 의미 해석과 청자 역할 부여를 동시에 처리하는 첫 번째 엔드 투 엔드 SRL 시스템을 제시한다.