[논문 리뷰] Improving BERT with Syntax-aware Local Attention

Zhongli Li, Qingyu Zhou외 3명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling참고 문헌 19인용 수 7

한 줄 요약

이 논문은 의존 관계 파싱을 사용하여 거리 기반의 어텐션 마스크를 계산함으로써 구문적으로 관련성이 있는 단어에 자기주도 어텐션을 제한하는 Syntax-aware Local Attention (SLA)를 제안한다. 가중치를 학습할 수 있는 게이트 기반으로 BERT와 SLA를 통합함으로써, 여러 단문 NLP 작업에서 일관된 성능 향상을 달성하였으며, 평균적으로 BERT와 이전의 구문 기반 접근법보다 뛰어나며, FCE에서는 최신 기준 성능을 달성하고 F1 점수 0.7 점의 절대적 향상을 보였다.

ABSTRACT

Pre-trained Transformer-based neural language models, such as BERT, have achieved remarkable results on varieties of NLP tasks. Recent works have shown that attention-based models can benefit from more focused attention over local regions. Most of them restrict the attention scope within a linear span, or confine to certain tasks such as machine translation and question answering. In this paper, we propose a syntax-aware local attention, where the attention scopes are restrained based on the distances in the syntactic structure. The proposed syntax-aware local attention can be integrated with pretrained language models, such as BERT, to render the model to focus on syntactically relevant words. We conduct experiments on various single-sentence benchmarks, including sentence classification and sequence labeling tasks. Experimental results show consistent gains over BERT on all benchmark datasets. The extensive studies verify that our model achieves better performance owing to more focused attention over syntactically relevant words.

연구 동기 및 목표

• 자기주도 어텐션 메커니즘을 구문적 구조로 향상시켜 단문 NLP 작업에서 BERT의 성능을 향상시키는 것.
• BERT의 전역 어텐션의 한계를 보완하기 위해 국소적으로 관련성 있고 구문적으로 의미 있는 단어 쌍에만 어텐션을 제한하는 것.
• 사전에 훈련된 BERT에 최소한의 파rameter 증가로 통합할 수 있는 경량의 모듈을 개발하는 것.
• 고정 또는 동적 윈도우 방식보다 구문적 구조가 어텐션에 더 효과적인 국소적 인덕티브 바이어스를 제공하는지 검증하는 것.
• 다양한 벤치마크, 특히 문장 분류 및 시퀀스 레이블링에 걸쳐 구문 인식 국소 어텐션의 일반성과 효과성을 입증하는 것.

제안 방법

• 의존 관계 파싱에서 유도된 구문적 거리를 바탕으로, 각 타겟 단어에 대해 인접한 토큰들(±1)까지의 최소 거리를 계산하여 국소 어텐션 범위를 정의한다.
• 이러한 거리를 기반으로 구문 인식 어텐션 마스크를 구성하고, 이를 내적 곱 어텐션 메커니즘에 적용하여 구문적으로 가까운 단어들에만 어텐션을 제한한다.
• 각 토큰과 레이어마다 가중치를 학습할 수 있는 게이트 유닛을 도입하여 전역 자기주도 어텐션과 구문 인식 국소 어텐션의 기여도를 동적으로 균형 조절한다.
• 모델은 BERT의 각 트랜스포머 레이어에 구문 인식 국소 어텐션을 통합하며, 사전 훈련된 BERT의 가중치를 초기화로 사용하고, 엔드 투 엔드로 미세조정한다.
• 어텐션 점수는 전역 어텐션과 국소 어텐션의 가중치 합으로 계산되며, 게이트가 각 구성 요소의 상대적 중요도를 조절한다.
• 의존 관계 파싱은 입력 문장마다 수행되어 작업에 맞는 전용 어텐션 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 국소 어텐션에 구문적 구조를 통합하면 단문 NLP 작업에서 BERT의 성능 향상에 기여하는가?
• RQ2 윈도우 기반 국소 어텐션보다 구문 인식 국소 어텐션은 더 의미 있는 국소적 의존 관계를 효과적으로 포착하는가?
• RQ3 구문 지식의 통합이 어텐션 패턴과 모델의 해석 가능성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 아키텍처 변경 없이 다양한 벤치마크에 효과적으로 적용될 수 있는가?
• RQ5 게이트 기반 메커니즘이 다양한 레이어에서 전역 어텐션과 국소 어텐션의 균형을 어떻게 조절하는가?

주요 결과

• 구문 인식 국소 어텐션(SLA)은 문장 분류 및 시퀀스 레이블링 작업을 포함한 모든 평가된 단문 벤치마크에서 BERT보다 일관된 성능 향상을 달성한다.
• FEVER 및 FCE 데이터셋에서 SLA는 BERT보다 F1 점수 0.7 점의 절대적 향상을 보이며, FCE에서는 새로운 최고 성능을 기록한다.
• 평균 성능에서 이전의 구문 기반 접근법보다 뛰어나며, 국소 어텐션에서 구문적 인덕티브 바이어스의 효과성을 입증한다.
• 게이트 기반 메커니즘은 SLA에서 더 깊은 레이어에서 더 높은 값을 보이며, 이는 국소 어텐션이 후행 표현에서 더 중요한 역할을 함을 시사한다.
• 어텐션 시각화 결과는 SLA가 'fresh air'가 'film'을 어텐션하는 등 중요한 구문적 의존 관계를 포착함을 확인하였으며, 이는 윈도우 기반 방법이 간과하는 바이다.
• QNLI 및 RTE와 같은 문장 쌍 작업에서는 SLA가 성능이 열등한 편이었는데, 이는 교차 문장 상호작용이 지배적이기 때문에 국소 어텐션의 효과가 떨어지기 때문이다.