[논문 리뷰] Parsing as Pretraining

David Vilares, Michalina Strzyz외 2명|arXiv (Cornell University)|2020. 02. 05.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델 인코더만을 사용하여 전체 구성 요소 및 의존성 파싱을 수행하는 새로운 방법을 제안한다. 작업별 디코더나 파싱 알고리즘을 사용하지 않고도, 파싱을 순차적 레이블링 문제로 재정의하고, 단일 피드포워드 레이어를 통해 단어 벡터를 선형화된 트리 구조로 매핑함으로써, SOTA 성능을 달성한다—PTB에서 93.5%의 브라켓링 F1, en-ewt UD에서 78.8%의 LAS를 기록하며, 사전 훈련된 모델이 미세조정 없이도 구조적 문법 정보를 내재적으로 포함하고 있음을 입증한다.

ABSTRACT

Recent analyses suggest that encoders pretrained for language modeling capture certain morpho-syntactic structure. However, probing frameworks for word vectors still do not report results on standard setups such as constituent and dependency parsing. This paper addresses this problem and does full parsing (on English) relying only on pretraining architectures -- and no decoding. We first cast constituent and dependency parsing as sequence tagging. We then use a single feed-forward layer to directly map word vectors to labels that encode a linearized tree. This is used to: (i) see how far we can reach on syntax modelling with just pretrained encoders, and (ii) shed some light about the syntax-sensitivity of different word vectors (by freezing the weights of the pretraining network during training). For evaluation, we use bracketing F1-score and LAS, and analyze in-depth differences across representations for span lengths and dependency displacements. The overall results surpass existing sequence tagging parsers on the PTB (93.5%) and end-to-end EN-EWT UD (78.8%).

연구 동기 및 목표

• 사전 훈련된 언어 모델만으로 작업별 디코딩이나 구조적 특징 없이 전체 파싱을 수행할 수 있는지 조사하기 위해.
• 훈련 중 사전 훈련된 네트워크 가중치를 동결함으로써 다양한 단어 벡터 표현의 문법 감도를 평가하기 위해.
• 직접 파싱 성능를 통해 다양한 사전 훈련 아키텍처가 형태구문적 구조를 얼마나 잘 포착하는지 평가하기 위해.
• 전체 파싱 설정을 사용하여 단어 벡터의 문법 능력을 분석하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 트리 구조를 선형화하여 구성 요소 파싱과 의존성 파싱을 모두 순차적 레이블링 작업으로 변환하기.
• 입력 단어 임베딩을 출력 레이블 시퀀스로 매핑하기 위해 단일 피드포워드 레이어 사용하며, 이는 파생된 트리를 나타낸다.
• 정적 단어 벡터의 문법 감도를 분석하기 위해 사전 훈련된 인코더 가중치를 동결하고, 엔드 투 엔드 성능 평가를 위해 미세조정을 수행한다.
• 표준 벤치마크에서 평가: 구성 요소 파싱에 대해 PTB, 의존성 파싱에 대해 en-ewt UD를 사용하며, 브라켓링 F1 점수와 LAS 점수를 기준으로 평가한다.
• 구간 길이, 구간 레이블, 의존성 이격 거리, 관계 유형 등에 따라 성능를 분석하여 언어적 능력을 탐구한다.
• 동일한 설정 하에서 사전 계산된 임베딩(FastText 등)과 문맥 기반 표현(ELMo, BERT 등)을 비교한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 작업별 디코딩이나 구조적 특징 없이 얼마나 전체 파싱을 수행할 수 있는가?
• RQ2 고정된 가중치에서의 파싱 성능를 측정했을 때, 어떤 사전 훈련 아키텍처가 가장 많은 문법적 구조를 포함하고 있는가?
• RQ3 정적 표현 대비 문맥 기반 표현의 성능는 구간 길이, 레이블 빈도, 의존성 이격 거리 등의 문법 현상에서 어떻게 다를까?
• RQ4 언어 모델링 목표가 의존성 구조보다 어구 구조를 더 효과적으로 내재화하는가?
• RQ5 단일 선형 헤드를 사용한 순차적 레이블링이 사전 훈련된 인코더만을 사용해도 경쟁 가능한 파싱 성능를 달성할 수 있는가?

주요 결과

• 모델은 PTB 테스트 세트에서 브라켓링 F1 점수 93.5%를 기록했고, en-ewt UD 테스트 세트에서는 LAS 78.8%를 달성하여 기존의 순차적 태깅 파서를 초월한다.
• 고정된 ELMo와 BERT 표현은 특히 긴 구간이나 빈도가 낮은 구간에서 정적 FastText 임베딩보다 구간 식별 성능가 뛰어나다.
• 문맥 기반 표현(ELMo, BERT)은 장기적 또는 드문 구간과 루트, nsubj, obj와 같은 어려운 의존성 관계와 같은 복잡한 문법적 구조에서 뚜렷한 성능 향상을 보인다.
• 의존성 파싱 성능는 구성 요소 파싱 성능보다 낮으며, ELMo와 BERT는 정적 벡터 대비 성능 향상 폭이 작아 의존성 구조의 내재화가 약한 것으로 나타났다.
• 결과는 언어 모델링 목표가 의존 관계보다 어구 구조 개념을 더 효과적으로 내재화할 수 있음을 시사하며, 구성 요소 파싱 및 구간 수준 작업에서의 뛰어난 성능로 이를 뒷받침한다.
• 분석 결과, 미세조정된 BERT는 추가적인 파싱을 위한 아키텍처 설계 없이도 사전 훈련된 표현만으로 강력한 파싱 성능를 달성할 수 있음을 보여준다.