[논문 리뷰] Syntax-aware Neural Semantic Role Labeling with Supertags

Jungo Kasai, Dan Friedman외 3명|arXiv (Cornell University)|2019. 03. 12.

Natural Language Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 전체 문법적 트리를 사용하지 않고, 의존 구문 분석에서 유도된 풍부한 문법적 태그인 슈퍼태그(supertags)를 사용하는 문법 인식 신경망 의미 역할 레이블링(SRL) 모델을 제안한다. BiLSTM을 사용해 슈퍼태그를 예측하고, 이를 단어 및 품사 태그 임베딩과 함께 깊이 있는 하이웨이 BiLSTM에 입력함으로써 CoNLL 2009 영어 및 스페인어 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 문법 무관 모델 및 전체 파싱 기반 모델을 모두 능가한다.

ABSTRACT

We introduce a new syntax-aware model for dependency-based semantic role labeling that outperforms syntax-agnostic models for English and Spanish. We use a BiLSTM to tag the text with supertags extracted from dependency parses, and we feed these supertags, along with words and parts of speech, into a deep highway BiLSTM for semantic role labeling. Our model combines the strengths of earlier models that performed SRL on the basis of a full dependency parse with more recent models that use no syntactic information at all. Our local and non-ensemble model achieves state-of-the-art performance on the CoNLL 09 English and Spanish datasets. SRL models benefit from syntactic information, and we show that supertagging is a simple, powerful, and robust way to incorporate syntax into a neural SRL system.

연구 동기 및 목표

• 전체 의존 구문 분석에 의존하지 않고 문법 정보를 통합함으로써 의미 역할 레이블링(SRL) 성능을 향상시키는 것.
• 언어학적으로 풍부한 순서 기반 태그인 슈퍼태그가 신경망 SRL에서 전체 문법적 파싱의 효과적이고 강건한 대안이 될 수 있는지 조사하는 것.
• 다양한 문장 길이와 동사 유형에 따른 SRL 성능에 미치는 영향을 분석하기 위해 다양한 슈퍼태그 설계를 평가하는 것.
• 슈퍼태그가 문법 무관 모델과 복잡한 파싱 기반 모델 사이의 중간 지점이 되어 일반화 능력과 강건성을 향상시킬 수 있음을 보여주는 것.
• 전체 파싱이 실패할 수 있는 저자원 또는 도메인 외부 설정에서 슈퍼태그의 유용성을 탐색하는 것.

제안 방법

• CoNLL 2009 코퍼스의 의존 구문 분석에서 슈퍼태그를 추출하며, 네 가지 다른 슈퍼태그 모델을 사용한다: 모델 0(관계 + 방향성), 모델 1(필수 의존어 정보 추가), 모델 2(필수 의존어 관계 추가), 그리고 트리-연장 문법(Tree-Adjoining Grammar)을 기반으로 한 새로운 모델 TAG.
• 단어와 품사 태그에서 슈퍼태그를 예측하기 위해 양방향 LSTM(BiLSTM) 슈퍼태그 기계를 훈련하며, 예측된 슈퍼태그에 대해 실수형 임베딩을 사용한다.
• 슈퍼태그 임베딩과 함께 단어 및 품사 태그 임베딩을 깊이 있는 하이웨이 BiLSTM에 입력하여 의미 역할 레이블링을 수행한다.
• 앙상블을 사용하지 않고 지역적 모델 아키텍처를 사용하여 효율성을 확보하고, 파싱 오류가 전파되는 것을 방지한다.
• CoNLL 2009 영어 및 스페인어의 도메인 내 및 도메인 외 테스트 세트에서 성능을 평가하며, 슈퍼태그 모델과 기준 모델 간 비교를 수행한다.
• 문장 길이 및 동사 유형별로 성능를 분석하여 강건성과 언어학적 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 의존 구문 분석에서 유도된 슈퍼태그가 문법 무관 신경망 모델보다 SRL 성능을 향상시킬 수 있는가?
• RQ2 다양한 수준의 문법 표현력을 지닌 다양한 슈퍼태그 설계가 영어 및 스페인어에서 SRL 성능에 어떤 영향을 미치는가?
• RQ3 슈퍼태그를 사용함으로써 전체 의존 구문 분석보다 더 강건하고 일반화 능력이 뛰어난 대안이 될 수 있는가?
• RQ4 슈퍼태그는 더 긴 문장이나 도메인 외부 문장에서 SRL 성능를 어떻게 향상시키는가?
• RQ5 의존 경로 모델링과 같은 더 복잡한 문법 인코딩 방법보다 슈퍼태그가 더 뛰어난 성능를 보일 수 있는가?

주요 결과

• 모델 1 슈퍼태그를 사용한 제안된 모델은 CoNLL 2009 영어 도메인 내 테스트 세트에서 F1 점수 92.0을 기록하여 BiLSTM 기준 모델과 Path-LSTM 모델을 모두 능가한다.
• 모델 1 슈퍼태그는 모든 동사 유형(V/A0, V/A1, V/A2, V/AM, N/A2, N/AM)에서 성능 향상을 보이며, BiLSTM 및 BDH 기준 모델 대비 일관된 개선을 보였다.
• 스페인어 도메인 내 테스트 세트에서 F1 점수 92.9를 기록하여 강력한 다국어 일반화 능력을 입증하였다.
• 슈퍼태그 기반 모델은 특히 도메인 외부 설정에서 더 긴 문장에서 더 큰 성능 향상을 보였으며, 문장의 구조적 복잡성에 대한 강건성을 시사한다.
• 가장 단순한 모델 0(간단한 슈퍼태그)가 V/A0, V/A1, V/AM, N/AM 등의 핵심 역할에서 Path-LSTM 모델을 능가하며, 심지어 기본 슈퍼태그라도 더 복잡한 문법 경로 모델링을 능가할 수 있음을 보여준다.
• 앙성화 없이도 전체 문법적 파싱에 의존하지 않고도 최신 기술 수준 성능를 달성하였으며, 이는 슈퍼태그가 경량이면서도 문법적으로 풍부한 신호로서 효과적이라는 것을 입증한다.