[논문 리뷰] StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling

Yikang Shen, Yi Tay외 4명|arXiv (Cornell University)|2020. 12. 01.

Natural Language Processing Techniques참고 문헌 40인용 수 7

한 줄 요약

StructFormer는 Transformer 아키텍처 내에서 거리 기반 파싱 메커니즘과 의존성 제약을 가진 자기주의 메커니즘을 사용하여 종속성 및 구성 구조를 동시에 유도하는 새로운 엔드 투 엔드 비지도 프레임워크를 제안한다. 이는 금본 품사 태그나 외부 지도 없이도 비지도 종속성 파싱(46.2 UAS)과 마스킹된 언어 모델링에서 최신 기술 성능을 달성한다.

ABSTRACT

There are two major classes of natural language grammar -- the dependency grammar that models one-to-one correspondences between words and the constituency grammar that models the assembly of one or several corresponded words. While previous unsupervised parsing methods mostly focus on only inducing one class of grammars, we introduce a novel model, StructFormer, that can simultaneously induce dependency and constituency structure. To achieve this, we propose a new parsing framework that can jointly generate a constituency tree and dependency graph. Then we integrate the induced dependency relations into the transformer, in a differentiable manner, through a novel dependency-constrained self-attention mechanism. Experimental results show that our model can achieve strong results on unsupervised constituency parsing, unsupervised dependency parsing, and masked language modeling at the same time.

연구 동기 및 목표

• 원시 텍스트에서 종속성 및 구성 구조를 동시에 유도하는 통합적이고 엔드 투 엔드 비지도 프레임워크를 개발하는 것.
• 비지도 파싱에서 금본 품사 태그나 외부 언어학적 지도에 의존하지 않도록 하는 것.
• 구조적 구조 유도를 트랜스포머의 자기주의 메커니즘에 직접 통합하는 것.
• 유도된 종속성 구조가 마스킹된 언어 모델링 성능을 향상시키는지 평가하는 것.
• 단일 모델이 동시에 비지도 파싱 및 사전학습 작업에서 뛰어난 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 모델은 각 토큰에 대해 종속성 거리(T)와 종속성 높이(Δ)를 예측하기 위해 거리 기반 파싱 메커니즘을 사용하여 종속성 및 구성 구조를 동시에 표현한다.
• T와 Δ로부터 유도된 부모 및 종속자 주의 분포를 미분 가능한 방식으로 계산하여 유도된 종속성 관계를 정의한다.
• 새로운 의존성 제약을 가진 자기주의 메커니즘이 각 주의 헤드가 오직 자신의 부모 또는 종속자만을 주시하도록 제한하며, 표준 전면 주의 메커니즘을 대체한다.
• 주의 메커니즘은 부모 및 종속자 관계의 가중 평균을 조합하여 사전학습 중에 구조적 인덕티브 바이어스를 학습할 수 있도록 한다.
• 모델은 종속성 구조가 경사 하강법을 통해 유도되도록 마스킹된 언어 모델링에서 엔드 투 엔드로 훈련된다.
• 최종 종속성 그래프는 각 토큰에 대해 예측된 종속성 분포에 대해 argmax를 통해 추출된다.

실험 결과

연구 질문

• RQ1 단일 비지도 모델이 원시 텍스트에서 종속성 및 구성 구조를 동시에 유도할 수 있는가?
• RQ2 미분 가능한 의존성 제약 주의 메커니즘이 금본 레이블 없이 트랜스포머가 유도된 종속성 그래프를 효과적으로 학습하도록 이끌 수 있는가?
• RQ3 유도된 구조적 구조가 마스킹된 언어 모델링 작업 성능을 향상시키는가?
• RQ4 부모 및 종속자 주의 관계의 상대 기여도가 파싱 및 사전학습 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 금본 품사 태그나 사전 학습된 임베딩에 의존하는 기존 비지도 파싱 방법과 경쟁력이 있는가?

주요 결과

• StructFormer는 금본 품사 태그를 사용하지 않고 WSJ 테스트 세트에서 46.2 UAS를 달성하여 동일한 설정에서 대부분의 기존 비지도 모델을 능가한다.
• 비방향 종속성 관계의 61.6%를 복구(=UUAS), 강력한 문법적 연결 복구 능력을 보여준다.
• 부모 또는 종속자 관계 중 하나만 사용할 경우 성능이 크게 떨어지며, 이는 균형 잡힌 파싱 성능을 위해 두 관계 모두 필수적임을 시사한다.
• 모델는 초기 레이어에서 부모 관계를 우선시하고 깊이 있는 레이어로 갈수록 종속자 관계를 점차 통합함으로써 계층적 주의 학습을 보여준다.
• 유도된 종속성 구조는 마스킹된 언어 모델링 성능을 향상시키며, 이는 구조적 인덕티브 바이어스가 사전학습에 유리함을 입증한다.
• 이 프레임워크는 단일의 엔드 투 엔드 미분 가능한 아키텍처 내에서 종속성 및 구성 구조 유도를 성공적으로 통합하였다.