[논문 리뷰] Assessing BERT's Syntactic Abilities

Yoav Goldberg|arXiv (Cornell University)|2019. 01. 16.

Natural Language Processing Techniques참고 문헌 6인용 수 295

한 줄 요약

논문은 BERT의 양방향, 주의 기반 아키텍처가 영어 구문 의존성을 포착하는지, 과거 구문 테스트를 마스킹된 양방향 설정으로 적용하여 평가합니다; 결과는 구문 민감도가 강하고, 베이스가 종종 대형보다 우수한 성능을 보입니다.

ABSTRACT

I assess the extent to which the recently introduced BERT model captures English syntactic phenomena, using (1) naturally-occurring subject-verb agreement stimuli; (2) "coloreless green ideas" subject-verb agreement stimuli, in which content words in natural sentences are randomly replaced with words sharing the same part-of-speech and inflection; and (3) manually crafted stimuli for subject-verb agreement and reflexive anaphora phenomena. The BERT model performs remarkably well on all cases.

연구 동기 및 목표

• 영어에서 BERT가 구문 의존성을 포착하는지에 대한 조사를 촉진한다.
• 기존의 구문 평가 자극을 BERT의 양방향 마스킹 프레임워크에 맞게 적응한다.
• 표준 구문 현상에서 BERT Base와 BERT Large를 비교한다.
• 구문 학습에서 순수한 주의 기반 모델의 한계와 시사점을 논의한다.

제안 방법

• Linzen 등(2016), Gulordava 등(2018), Marvin & Linzen(2018)의 자극을 BERT의 양방향 설정에 맞게 적응한다.
• 타깃 동사를 마스킹하고 예측 로짓을 올바른 굴절과 잘못된 굴절 간의 차이를 점수화한다.
• 예측을 평가하기 위해 동사를 제외한 전체 문장을 사용하고, 원형과 대체 형태를 비교한다.
• PyTorch 구현 및 사전 학습 가중치를 사용하여 BERT-Base와 BERT-Large를 실험한다.
• 초점 동사나 그 굴절이 어휘 밖이거나 토큰화에 부적합한 자극은 폐기하고, 적절한 경우 NPI와 연결동사(copular) 사례를 생략한다.

실험 결과

연구 질문

• RQ1 양방향 마스킹을 가진 BERT가 영어의 주어-동사 일치 및 관련 구문 현상을 포착할 수 있는가?
• RQ2 구문에 민감한 작업에서 BERT-Base와 BERT-Large의 차이는 무엇인가?
• RQ3 데이터셋 선택, 사전 학습 코퍼스, 평가 프로토콜이 관찰된 구문 성능에 미치는 영향은 무엇인가?
• RQ4 자연 발생 문장을 넘어서 제어된 자극이나 nonce 자극으로 일반화되는가?

주요 결과

끌어당자	BERT Base	BERT Large	# 문장수
1	0.97	0.97	24031
2	0.97	0.97	4414
3	0.96	0.96	946
4	0.97	0.96	254

• BERT는 구문 테스트 케이스에서 높은 정확도를 달성하며, 종종 이전의 LSTM 기반 모델보다 높다.
• 많은 조건에서 BERT-Base가 BERT-Large보다 우수하다.
• 양방향성, 서로 다른 학습 데이터 및 자극의 폐지로 인해 prior와 직접 비교할 수 없다.
• 적절한 평가 설정이 주어지면 BERT와 같은 순수한 주의 기반 모델이 위계 의존 구문을 LSTM 모델과 비슷하거나 더 잘 포착할 수 있음을 시사한다.
• 일부 예외가 존재하지만(Table 3의 문장 보어 및 짧은 VP 합성에서), 전반적으로 BERT의 강한 구문 일반화를 선호하는 경향이다.
• 본 연구는 더 큰 모델이 보편적으로 더 나은 구문 성능을 보이지 않는다는 점을 강조한다.