[논문 리뷰] Does BERT agree? Evaluating knowledge of structure dependence through agreement relations

Geoff Bacon, Terry Regier|arXiv (Cornell University)|2019. 08. 26.

Topic Modeling참고 문헌 30인용 수 14

한 줄 요약

이 논문은 26개의 언어와 네 가지 어vere종류(주어-동사, 명사-관형사, 명사-형용사, 서술어-형용사)에 걸쳐 BERT가 구조적으로 의존하는 동조 관계를 얼마나 잘 포착하는지 평가한다. 클로즈 스타일의 마스킹 언어 모델링 작업을 통해 수행되며, BERT는 전반적으로 뛰어난 성능을 보이지만, 의존 거리와 간섭자 수가 증가할수록 점진적으로 정확도가 떨어지는 경향을 보이며, 영어 주어-동사 동조를 초월한 문법 일반화 능력은 강력하지만 제한되어 있음을 시사한다.

ABSTRACT

Learning representations that accurately model semantics is an important goal of natural language processing research. Many semantic phenomena depend on syntactic structure. Recent work examines the extent to which state-of-the-art models for pre-training representations, such as BERT, capture such structure-dependent phenomena, but is largely restricted to one phenomenon in English: number agreement between subjects and verbs. We evaluate BERT's sensitivity to four types of structure-dependent agreement relations in a new semi-automatically curated dataset across 26 languages. We show that both the single-language and multilingual BERT models capture syntax-sensitive agreement patterns well in general, but we also highlight the specific linguistic contexts in which their performance degrades.

연구 동기 및 목표

• BERT가 영어 주어-동사 수 동조를 초월해, 문맥적으로 의존하는 동조 관계를 얼마나 잘 포착하는지 평가하기 위해.
• 다양한 언어 유형을 포함한 26개 언어에서 네 가지 종류의 동조 관계로 평가 범위를 확장하기 위해.
• 의존 거리와 간섭자 수가 BERT의 동조 작업 성능에 어떤 영향을 미치는지 조사하기 위해.
• 향후 연구를 지원하기 위해 새로운 반자동으로 정제된 다국어 동조 데이터셋을 공개하기 위해.

제안 방법

• 26개 언어를 포함한 새로운 다국어 동조 관계 데이터셋을 구축하였으며, 주어-동사, 명사-관형사, 명사-형용사, 서술어-형용사 동조의 네 가지 종류를 포함한다.
• 클로즈 스타일의 마스킹 언어 모델링 설정을 사용하여, 동조 쌍의 한 단어가 마스킹되고 BERT가 누락된 단어를 예측하도록 한다.
• 간섭자와 의존 거리 제어 조건 하에, 모든 동조 종류와 언어에서 정확도를 사용해 성능을 평가한다.
• 언어와 동조 종류 간의 결과를 통합하여 전체적인 강건성과 구조적 복잡성에 대한 민감도를 평가한다.
• 성능 플롯의 통계적 신뢰성을 확보하기 위해 부트스트랩 95% 신뢰구간을 오차 막대에 적용한다.
• 향후 작업으로는 컨트롤러와 타겟을 동시에 마스킹하여 단서의 중복을 줄이고 평가 방법을 비교할 계획이다.

실험 결과

연구 질문

• RQ1 BERT는 영어 주어-동사 수 동조를 초월해 문법적으로 민감한 동조 패턴을 얼마나 일반화하는가?
• RQ2 BERT의 성능은 다양한 동조 종류(예: 관형사, 형용사, 서술어)와 형태구문적 특징(예: 수, 성)에 따라 어떻게 달라지는가?
• RQ3 의존 거리와 간섭자 수가 BERT의 동조 예측 정확도에 어떤 영향을 미치는가?
• RQ4 특히 형태적으로 풍부하거나 유형학적으로 다를 수 있는 언어에서는 BERT의 동조 성능에 언어별 패턴이 존재하는가?

주요 결과

• BERT는 26개 언어의 모든 동조 관계에서 높은 정확도(80% 이상)를 기록하여, 문법적 구조 지식의 강력한 일반화 능력을 보여준다.
• 컨트롤러와 타겟 간의 거리가 증가할수록 정확도가 약간이지만 일관되게 감소하는 경향을 보이며, 장거리 의존성에 민감함을 시사한다.
• 간섭자(기능이 충돌하는 명사)가 많을수록 정확도 감소가 더 뚜렷하게 나타나며, 몇 개의 간섭자를 초월하면 더욱 두드러진다.
• 다국어 BERT는 대부분의 언어에서 단일 언어 BERT와 유사한 성능을 보이며, 언어 유형과 형태적 복잡성에 따라 성능이 달라진다.
• 전반적으로 간섭자와 장거리 의존성에 강건하지만, 성능 저하 패턴은 높은 구조적 모호성을 처리하는 데서의 한계를 암시한다.
• 연구 결과, BERT의 성공은 단순한 힌트에 기반한 것이 아니며, 여러 충돌하는 단서가 존재하더라도 성능이 높게 유지됨을 확인하였다.