[논문 리뷰] Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees

Jiangang Bai, Yujing Wang외 5명|arXiv (Cornell University)|2021. 03. 07.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

Syntax-BERT는 BERT, RoBERTa, T5와 같은 사전 훈련된 트랜스포머 모델을 개선하기 위해 구조적 트리의 통합을 통해 작동하는 플러그 앤 플레이 프레임워크를 제안한다. 이는 공유된 파라미터를 가진 관계별로 특화된 자기주의 하위망원(조상, 자식, 형제)으로 분해된 자기주의 메커니즘을 통합한다. 주제별 주의 메커니즘을 통해 이러한 하위망원의 가중치를 동적으로 조정함으로써 GLUE 작업 전반에서 일관된 성능 향상을 달성하며, T5-Large의 점수를 86.3에서 86.8로 끌어올리며 최소한의 파라미터 증가로도 성능 향상을 이룬다.

ABSTRACT

Pre-trained language models like BERT achieve superior performances in various NLP tasks without explicit consideration of syntactic information. Meanwhile, syntactic information has been proved to be crucial for the success of NLP applications. However, how to incorporate the syntax trees effectively and efficiently into pre-trained Transformers is still unsettled. In this paper, we address this problem by proposing a novel framework named Syntax-BERT. This framework works in a plug-and-play mode and is applicable to an arbitrary pre-trained checkpoint based on Transformer architecture. Experiments on various datasets of natural language understanding verify the effectiveness of syntax trees and achieve consistent improvement over multiple pre-trained models, including BERT, RoBERTa, and T5.

연구 동기 및 목표

• 사전 훈련 단계에서 명시적인 구조적 트리 통합이 사전 훈련된 트랜스포머 모델의 성능에 기여하는지 조사하는 것.
• 기존 사전 훈련된 체크포인트에 다시 훈련 없이도 효율적으로 문법적 구조를 통합하는 데 도전하는 것.
• 사전 훈련된 지식을 유지하면서 동시에 하류 작업에 대해 선택적으로 문법적 인덕티브 바이어스를 활용할 수 있는 방법을 개발하는 것.
• 가벼운 학습 가능한 주의 메커니즘을 통해 작업에 맞는 문법적 관계 선택을 가능하게 하는 것.
• BERT, RoBERTa, T5와 같은 다양한 사전 훈련된 모델에 대해 일반화 가능성의 증명

제안 방법

• 표준 자기주의 메커니즘을 구조적 트리 관계(조상, 자식, 형제)에 기반한 여러 하위망원으로 분해하며, 이는 힙 수에 따라 다르게 설정된다.
• 기존 체크포인트에서 직접 전이가 가능하도록 모든 하위망원 파라미터를 사전 훈련된 모델과 공유한다.
• 입력 기반의 관련성에 따라 각 문법 하위망원에 대한 작업별 가중치를 계산하는 주제별 주의 레이어를 도입한다.
• 주제별 주의 점수를 사용하여 가중 합산 방식으로 모든 하위망원의 표현을 집계한다.
• 의존성 트리에서 유도된 부모, 형제, 조상 마스크를 사용하여 각 하위망원의 주의 마스크를 정의한다.
• 기존 사전 훈련된 트랜스포머 체크포인트에 플러그 앤 플레이 방식으로 적용하여 다시 훈련하지 않아도 된다.

실험 결과

연구 질문

• RQ1 명시적인 구조적 트리 통합이 사전 훈련된 트랜스포머의 성능을 사전 훈련 단계에서 향상시킬 수 있는가?
• RQ2 다시 훈련하지 않고도 사전 훈련된 모델에 문법적 인덕티브 바이어스를 효율적으로 통합할 수 있는가?
• RQ3 다양한 문법적 관계(예: 조상, 형제 등)가 하류 작업 성능에 어떻게 기여하는가?
• RQ4 이 프레임워크는 BERT, RoBERTa, T5와 같은 다양한 사전 훈련된 모델에 일반화될 수 있는가?
• RQ5 주제별 주의 메커니즘이 주어진 작업에 가장 관련성이 높은 문법적 표현을 효과적으로 식별하고 우선순위를 정하는가?

주요 결과

• Syntax-BERT는 T5-Large의 전체 GLUE 벤치마크 점수를 86.3에서 86.8로 향상시켜 최소한의 파라미터 오버헤드로도 일관된 성능 향상을 보였다.
• 구조적 프로브에서 Syntax-BERT-Large는 UUAS 83.4와 스피어만 상관계수 0.90을 기록했으며, BERT-Large(79.8 UUAS, 0.86 상관계수)를 능가했다.
• Syntax-RoBERTa-Large는 UUAS 84.6과 스피어만 상관계수 0.93을 기록하여 RoBERTa-Large 대비 뚜렷한 문법 지식 향상을 보였다.
• 사례 연구 결과, Syntax-BERT는 "anyone"에 마침표가 붙은 것과 같은 문법 오류를 올바르게 식별하여 관련 문법 관계를 강조하는 반면, 일반적인 BERT는 실패함을 확인했다.
• 하위망원 수가 적을 경우 Syntax-BERT는 BERT와 동일한 시간 복잡도를 유지하며, 희소 구현을 통해 복잡도를 O(MD_Q E)로 추가로 감소시킬 수 있다.
• 제거 실험 결과, 분해 및 주제별 주의 구성 요소가 필수적임을 확인하였으며, 이를 제거할 경우 성능 저하가 발생하여 설계의 효과성을 입증했다.