[논문 리뷰] Head-Driven Phrase Structure Grammar Parsing on Penn Treebank

Junru Zhou, Hai Zhao|arXiv (Cornell University)|2019. 07. 05.

Topic Modeling참고 문헌 68인용 수 20

한 줄 요약

이 논문은 구성구조와 의존관계 구조를 하나의 형식 체계로 통합하는 새로운 단순화된 헤드-드라이브 프레이즈 구조 문법(HPSG)을 제안한다. 이는 두 가지 새로운 알고리즘—분할 스펙트럼과 통합 스펙트럼—을 통해 동시 구문 분석을 가능하게 한다. 모델은 BERT 기반 특징을 사용하여 펜 트리뱅크에서 최신 기술 수준의 성능을 달성하였으며, 구성구조 분석에서는 F1 점수 96.33을, 의존관계 분석에서는 UAS 97.20%를 기록하였다.

ABSTRACT

Head-driven phrase structure grammar (HPSG) enjoys a uniform formalism representing rich contextual syntactic and even semantic meanings. This paper makes the first attempt to formulate a simplified HPSG by integrating constituent and dependency formal representations into head-driven phrase structure. Then two parsing algorithms are respectively proposed for two converted tree representations, division span and joint span. As HPSG encodes both constituent and dependency structure information, the proposed HPSG parsers may be regarded as a sort of joint decoder for both types of structures and thus are evaluated in terms of extracted or converted constituent and dependency parsing trees. Our parser achieves new state-of-the-art performance for both parsing tasks on Penn Treebank (PTB) and Chinese Penn Treebank, verifying the effectiveness of joint learning constituent and dependency structures. In details, we report 96.33 F1 of constituent parsing and 97.20\% UAS of dependency parsing on PTB.

연구 동기 및 목표

• 더 풍부한 언어학적 표현을 위해 구성구조와 의존관계 문법적 구조를 단순화된 HPSG 형식 체계 안에서 통합하는 것.
• 통합된 HPSG 구조에 특화된 새로운 구문 분석 알고리즘—분할 스펙트럼과 통합 스펙트럼—을 개발하는 것.
• 통합된 구문 분석 모델을 구성구조 및 의존관계 분석 작업 모두에서 평가하여, 동시 학습을 통한 성능 향상을 입증하는 것.
• 영어(PTB) 및 중국어(CTB) 트리뱅크에서 모두 구성구조 및 의존관계 분석 유형에 대해 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 저자들은 펜 트리뱅크의 구성구조 및 의존관계 트리 표현을 통합하여 헤드-드라이브 구조와 발성 정보를 유지하는 단순화된 HPSG를 구성한다.
• 두 가지 스펙트럼 기반 표현 방식을 도입한다: 분할 스펙트럼은 머리어절 위치를 'H' 접두어로 표시하여 머리 앞/뒤를 구분하고, 통합 스펙트럼은 어구 구조와 의존 관계 간선을 동시에 인코딩한다.
• 자기주의 어텐션 기반 신경망 모델을 엔드 투 엔드로 훈련하여, 분할 스펙트럼 또는 통합 스펙트럼 표현을 사용해 단순화된 HPSG 구문 트리를 예측한다.
• 대체 표현(ELMo, BERT, RoBERTa, XLNet)을 활용해 표현 학습을 향상시키고 일반화 능력을 향상시킨다.
• 훈련 중에 구성구조 및 의존관계 점수를 동시에 최적화함으로써 동시 디코딩을 수행하여 두 구조의 동시 학습을 가능하게 한다.
• 단순화된 HPSG에서 유도된 구성구조 및 의존관계 파싱 트리에서 모델을 평가하며, 표준 F1 및 UAS 지표를 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 통합된 HPSG 형식 체계가 구성구조와 의존관계 문법적 구조를 효과적으로 통합하여 구문 분석 성능을 향상시킬 수 있는가?
• RQ2 단순화된 HPSG 프레임워크를 통해 구성구조 및 의존관계 분석을 동시 학습하면 별도 학습 대비 성능 향상이 이루어지는가?
• RQ3 제안된 분할 스펙트럼 및 통합 스펙트럼 표현 방식이 표준 벤치마크에서 높은 정확도로 효과적인 신경망 구문 분석을 가능하게 하는가?
• RQ4 HPSG를 통해 더 풍부한 언어학적 구조를 통합할 경우, 영어 및 중국어 트리뱅크에서의 구문 분석 성능 향상 정도는 어느 정도인가?

주요 결과

• 제안된 HPSG 파서는 펜 트리뱅크 구성구조 분석 벤치마크에서 기존 모델을 초월하는 새로운 최신 기술 수준의 F1 점수 96.33을 달성하였다.
• 펜 트리뱅크 의존관계 분석 작업에서는 97.20%의 UAS를 기록하여 새로운 최신 기술 수준 성능을 달성하였다.
• XLNet 임bedding을 사용할 경우, 통합 스펙트럼 모델은 F1 점수 96.33 및 UAS 97.20%에 도달하여 동시 학습 및 문맥 기반 표현의 효과를 입증하였다.
• 중국어 펜 트리뱅크에서는 RoBERTa를 사용해 F1 점수 92.55를 기록하였으며, 이는 이전 방법을 능가하는 성능으로 언어 간 일반화 능력을 확인하였다.
• 통합 스펙트럼 파싱 방법은 항상 분할 스펙트럼 방법을 능가하며, 구성구조 및 의존관계 구조를 동시에 인코딩하는 것이 더 효과적임을 시사한다.
• 결과적으로, 통합된 HPSG 프레임워크를 통해 구성구조 및 의존관계 분석을 동시 학습함으로써 상당한 성능 향상이 이루어짐을 검증하였다.