[논문 리뷰] Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation

Goran Glavašš, Ivan Vulić|arXiv (Cornell University)|2020. 08. 15.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 RoBERTa 및 XLM-R 트랜스포머에 중간 구문 분석 훈련(IPT)을 통해 감독된 구문 분석을 통합할 경우, 후행 언어 이해(LU) 작업에서 성능 향상이 이루어지는지 조사한다. 상태 수준의 구문 분석 성능를 달성했음에도 불구하고, IPT는 자연어 추론(NLI), 어휘 유사성 식별, 인과적 공통지식 추론 작업에서 거의 영향을 주지 못하고 일관성 없이 성능 향상을 보이며, 대규모 언어 모델 사전훈련 시대에 유니버설 디펜던시(UD) 구문이 언어 이해에 거의 기여하지 않는다는 것을 시사한다.

ABSTRACT

Traditional NLP has long held (supervised) syntactic parsing necessary for successful higher-level semantic language understanding (LU). The recent advent of end-to-end neural models, self-supervised via language modeling (LM), and their success on a wide range of LU tasks, however, questions this belief. In this work, we empirically investigate the usefulness of supervised parsing for semantic LU in the context of LM-pretrained transformer networks. Relying on the established fine-tuning paradigm, we first couple a pretrained transformer with a biaffine parsing head, aiming to infuse explicit syntactic knowledge from Universal Dependencies treebanks into the transformer. We then fine-tune the model for LU tasks and measure the effect of the intermediate parsing training (IPT) on downstream LU task performance. Results from both monolingual English and zero-shot language transfer experiments (with intermediate target-language parsing) show that explicit formalized syntax, injected into transformers through IPT, has very limited and inconsistent effect on downstream LU performance. Our results, coupled with our analysis of transformers' representation spaces before and after intermediate parsing, make a significant step towards providing answers to an essential question: how (un)availing is supervised parsing for high-level semantic natural language understanding in the era of large neural models?

연구 동기 및 목표

• 최신 트랜스포머 모델에서 중간 구문 분석 훈련(IPT)을 통해 감독된 구문 분석을 통합할 경우, 후행 언어 이해(LU) 성능 향상 여부를 평가하는 것.
• 유니버설 디펜던시(UD) 트리뱅크에서 유도된 명시적 구문 지식이 자연어 추론, 어휘 유사성 식별, 인과적 공통지식 추론과 같은 LU 작업에 기여하는지 조사하는 것.
• IPT의 영향을 직접 미세조정 및 다른 방법(예: 컨텍스트 기반 학습 또는 어댑터 기반 조정)과 비교하여 트랜스포머 레이어 내 표현 변화에 초점을 맞추는 것.
• 감독된 구문 분석에서 유도된 구조 지식이 신경망 모델에서 고수준 의미 이해를 위한 구조 일반화와 얼마나 일치하는지 분석하는 것.
• 저자원 환경과 고자원, 사전훈련 중심 설정 간의 구문 인덕티브 바이어스의 역할을 탐구하며, 특히 제로샷 다국어 전이 설정에서의 성능을 중심으로 한다.

제안 방법

• RoBERTa 및 XLM-R를 유니버설 디펜던시(UD) 트리뱅크에서 중간 구문 분석 훈련(IPT)을 통해 이중형 의존성 분석 헤드를 갖도록 미세조정한다.
• 표준 크로스 엔트로피 손실을 사용하여 골드 표준 UD 애너테이션에서 의존성 분석을 엔드 투 엔드로 훈련하여 최고 수준의 구문 분석 성능를 달성한다.
• 동일한 구문 인지 트랜스포머 모델을 자연어 추론(MNLI), 어휘 유사성 식별(SNLI), 인과적 공통지식 추론(HellaSwag)과 같은 세 가지 후행 LU 작업에 대해 미세조정한다.
• IPT를 통한 미세조정 모델의 후행 성능를 IPT 없이 직접 미세조정한 베이스라인과 비교하여 주입된 구문 지식의 영향을 분리한다.
• 선형-CKA(중심화 커널 정렬)를 사용하여 IPT 이전 및 이후 트랜스포머 레이어 내 표현 변화를 분석하고, 새로운 구문 정보 주입 정도를 측정한다.
• 영어를 포함한 단국어 및 제로샷 다국어 전이 실험을 수행하며, 모델을 대상 언어의 UD 트리뱅크에서 IPT를 통해 미세조정한 후 영어 LU 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 유니버설 디펜던시(UD) 구문을 사용한 중간 구문 분석 훈련(IPT)이 RoBERTa 및 XLM-R에서 후행 언어 이해(LU) 성능 향상에 기여하는가?
• RQ2 IPT는 트랜스포머 레이어의 표현 공간에 어떤 영향을 미치며, 언어 모델링 사전훈련을 통해 이미 존재하는 구문 지식 외에 의미 있는 구문 지식을 주입하는가?
• RQ3 감독된 구문 분석에서 유도된 구문 정보는 LU 작업에서 요구하는 고수준 의미 이해를 위한 구조 일반화와 얼마나 일치하는가?
• RQ4 IPT의 효과성은 다양한 모델(예: BERT 대비 RoBERTa)과 제로샷 다국어 전이 설정에서 어떻게 변화하는가?
• RQ5 IPT는 직접 미세조정 또는 어댑터나 컨텍스트 기반 학습과 같은 다른 방법에 비해 얼마나 새로운 인덕티브 바이어스를 제공하는가?

주요 결과

• 유니버설 디펜던시(UD) 구문을 사용한 중간 구문 분석 훈련(IPT)은 자연어 추론(MNLI), 어휘 유사성 식별(SNLI), 인과적 공통지식 추론(HellaSwag)과 같은 후행 언어 이해 작업에서 거의 영향을 주지 못하고 일관성 없이 성능 향상을 보이며, 이는 명시적 구문 지식이 대규모 사전훈련 환경에서 고수준 이해에 거의 기여하지 않는다는 것을 시사한다.
• 상태 수준의 구문 분석 성능를 달성했음에도 불구하고 IPT는 후행 LU 작업에 거의 기여하지 않으며, 이는 대규모 사전훈련 환경에서 명시적 구문 지도 학습이 고수준 이해에 거의 효과가 없다는 것을 시사한다.
• 선형-CKA 분석 결과, IPT는 직접 미세조정(ILMT)보다 더 많은 새로운 구문 정보를 주입하지만, 이는 성능 향상으로 이어지지 않으며, 이는 주입된 구문 지식과 작업에 필요한 구조적 일반화 사이에 괴리가 있음을 시사한다.
• IPT와 원본 BERT 간의 하위 레이어에서의 l-CKA 점수는 매우 높아, UD 트리뱅크에서 유도된 구문 지식이 언어 모델링 사전훈련을 통해 이미 학습된 구조 지식과 중복되어 있음을 시사한다.
• RoBERTa의 경우 IPT 이후 파라미터 변화가 BERT보다 현저히 적어, RoBERTa의 표현이 더 풍부하고 강건한 것으로 보이며, 이는 더 큰 규모와 더 긴 사전훈련 덕분일 수 있다.
• 제로샷 다국어 전이 설정에서는 mBERT 및 XLM-R에 대해 저자원 언어(예: 독일어, 터키어)에서 IPT를 통해 더 많은 구문 지식을 주입하지만, 이는 다시 한번 거의 영향을 주지 못하는 성능 향상으로 이어지며, 이는 감독된 구문 분석이 이 설정에서 LU에 유익하지 않다는 결론을 강화한다.