[논문 리뷰] Parsing All: Syntax and Semantics, Dependencies and Spans

Junru Zhou, Zuchao Li외 1명|arXiv (Cornell University)|2019. 08. 30.

Topic Modeling참고 문헌 51인용 수 4

한 줄 요약

이 논문은 스팁과 의존성 표현을 활용하여 문법과 의미를 동시에 분석하는 통합된 공동 모델을 제안하며, 다중 작업 학습을 통해 문법적 분석과 의미적 분석 간의 상호 이점이 이루어지도록 한다. 이 모델은 표준 벤치마크에서 네 가지 작업—스팬 및 의존성 의미 역할 레이블링(SRL), 구성문법 및 의존성 문법 분석—에서 최고 성능 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Both syntactic and semantic structures are key linguistic contextual clues, in which parsing the latter has been well shown beneficial from parsing the former. However, few works ever made an attempt to let semantic parsing help syntactic parsing. As linguistic representation formalisms, both syntax and semantics may be represented in either span (constituent/phrase) or dependency, on both of which joint learning was also seldom explored. In this paper, we propose a novel joint model of syntactic and semantic parsing on both span and dependency representations, which incorporates syntactic information effectively in the encoder of neural network and benefits from two representation formalisms in a uniform way. The experiments show that semantics and syntax can benefit each other by optimizing joint objectives. Our single model achieves new state-of-the-art or competitive results on both span and dependency semantic parsing on Propbank benchmarks and both dependency and constituent syntactic parsing on Penn Treebank.

연구 동기 및 목표

• 이전 연구가 주로 문법이 의미 분석을 돕는 데 집중했지만 반대로 의미 분석이 문법 분석을 돕는 데 대한 상호 작용의 격차를 해결하기 위해.
• 이전 연구에서 다루지 않은 바와 같이, 문법과 의미 분석 모두에 대해 스팬 및 의존성 표현의 공동 학습을 탐색하기 위해.
• 종합적인 구조(공동 스팬을 통한)를 통해 문법적 구조(공동 스팬을 통한)와 의미적 구조(SRL 제약 조건을 통한)를 통합한 일관된 표현 프레임워크를 설계하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 의미 분석이 문법 분석을 향상시킬 수 있는지, 반대로 문법 분석이 의미 분석을 향상시킬 수 있는지, 기존의 단방향 정보 흐름을 초월하여 경험적으로 검증하기 위해.
• 테스트 시 외부 파서 감독 없이도 의미적 및 문법적 분석 작업에서 최고 성능을 달성하기 위해.

제안 방법

• 헤드-드리븐 프레이즈 구조 문법(HPSG) 기반의 새로운 '공동 스팬' 구조를 도입하여, 어절 구조와 헤드-의존 아크를 모두 코딩함으로써 구성문법과 의존성 정보를 통합한다.
• SRL 제약 조건을 사용하여 정확한 추론을 보장하고 학습을 단순화하는 통합된 SRL 표현 방식을 제안하며, 이는 스팬 및 의존성 SRL 모두에 적용 가능하다.
• 다중 작업 학습을 통해 균형 잡힌 목적 함수를 활용하여 문법적 및 의미적 분석을 동시에 최적화함으로써, 양방향 정보 흐름을 가능하게 한다.
• 신경망 인코더를 활용하여 문법 정보를 효과적으로 통합하며, 공유 및 작업별 전용 헤드를 통해 의존성 및 스팬 구조를 동시에 모델링한다.
• 파서와 함께 별도의 다중 클래스 분류기를 사용하여 의존성 레이블을 예측하며, 스팬 및 의존성 구조 예측을 동시에 최적화한다.
• 사전 훈련된 문맥적 표현(예: BERT 유사)을 적용하여 특징 학습을 향상시키며, 테스트 시 보조 파서 없이도 모든 작업에서 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 의미 분석이 전통적인 문법 감독의 단방향 흐름을 뒤집어, 문법 분석 성능을 향상시킬 수 있는가?
• RQ2 스팬 및 의존성 표현이 문법과 의미 분석에서 공동 모델링을 통해 얼마나 유의미한 이점을 얻는가?
• RQ3 스팬 및 의존성 SRL에 대해 별도의 모델이 아닌 통합 표현을 사용할 경우 일반화 및 성능 향상에 얼마나 기여하는가?
• RQ4 단일 모델이 테스트 시 외부 파서 감독 없이도 문법적 및 의미적 분석 작업에서 최고 성능을 달성할 수 있는가?
• RQ5 HPSG에서 영감을 얻은 공동 스팬 구조는 구성문법 및 의존성 관계를 통합 프레임워크 내에서 어떻게 향상시키는가?

주요 결과

• 제안된 공동 모델은 CoNLL-2005 및 CoNLL-2009 벤치마크를 사용하여 스팬 및 의존성 SRL 작업에서 기존 최고 성능을 경신하며, 테스트 시 파서 주입 없이도 기존 방법을 능가한다.
• Penn Treebank를 사용한 구성문법 및 의존성 분석 작업에서 경쟁력 있는 성능을 달성하여, 다양한 문법 분석 형태로의 일반화 능력을 입증한다.
• 엔드 투 엔드 모드에서, 기존 최고 성능 모델인 Strubell 등 (2018)보다도 워드넷 기반(WP) 및 브라운(Brown) 테스트 세트에서 스팬 SRL 작업에서 모두 우수한 성능을 보였으며, 테스트 시 예측된 파서를 사용하지 않았음에도 불구하고 그러한 성능을 달성했다.
• CoNLL-2009에서 엔드 투 엔드 및 주어진 동사 모드 모두에서 의존성 SRL 작업에서 새로운 최고 성능을 기록하였으며, 통합된 SRL 표현의 효과성을 확인하였다.
• 절단 실험 결과, 공동 학습이 의미적 및 문법적 분석 모두에 긍정적인 영향을 미치며, 네 가지 작업 전반에 걸쳐 상호 이점이 관찰됨을 확인하였다.
• 사전 훈련된 문맥적 표현의 통합은 성능 향상에 기여하였으며, 추가적인 외부 파싱 없이도 모든 설정에서 최고 성능을 달성하였다.