[논문 리뷰] Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge

Yu-Ping Ruan, Xiaodan Zhu외 4명|arXiv (Cornell University)|2019. 04. 22.

Topic Modeling참고 문헌 25인용 수 18

한 줄 요약

이 논문은 BERT 기반의 비지도 사전학습, Raham-Ng 데이터셋에서의 미세조정, 그리고 모델에 문법적 의존 구조를 통합하는 방식을 종합적으로 활용하여 Winograd Schema Challenge에서 새로운 최고 성능 기록인 71.1%의 정확도를 달성하였다. 이 접근법은 더 어려운 비연결성 케이스에서 의존 구조 모델링이 일관되게 성능 향상을 이끌어내는 것으로 나타났으며, 특히 단순한 연결성 문제에서는 미세조정이 매우 효과적임을 보여주었다.

ABSTRACT

Winograd Schema Challenge (WSC) was proposed as an AI-hard problem in testing computers' intelligence on common sense representation and reasoning. This paper presents the new state-of-theart on WSC, achieving an accuracy of 71.1%. We demonstrate that the leading performance benefits from jointly modelling sentence structures, utilizing knowledge learned from cutting-edge pretraining models, and performing fine-tuning. We conduct detailed analyses, showing that fine-tuning is critical for achieving the performance, but it helps more on the simpler associative problems. Modelling sentence dependency structures, however, consistently helps on the harder non-associative subset of WSC. Analysis also shows that larger fine-tuning datasets yield better performances, suggesting the potential benefit of future work on annotating more Winograd schema sentences.

연구 동기 및 목표

• 일반 지식 추론을 위한 AI 난이도 높은 벤치마크인 Winograd Schema Challenge(WSC)에서의 성능 향상.
• 규칙 기반 또는 지식 엔지니어링 기반의 특징 없이도 최신 사전학습 모델인 BERT가 WSC를 해결하는 데 얼마나 효과적인지 조사.
• 미세조정과 문법적 구조 모델링이 WSC의 다양한 하위집합(연결성 대비 비연결성)에 미치는 영향 분석.
• 미세조정 데이터셋의 크기가 모델 성능에 미치는 영향 평가 및 향후 데이터 수집 노력 제안.

제안 방법

• 인간이 애너테이션한 Winograd 스키마 예제로 구성된 Raham-Ng 데이터셋에 대해 BERT-large를 미세조정.
• 의존 구조 분석 정보를 BERT에 통합하기 위해 두 가지 방법을 사용: 내부 모델링(특정 레이어의 어텐션 헤드 마스킹)과 외부 모델링(의존 트리를 인코딩하기 위한 TransformerRNN 사용).
• BERT의 사전학습 목표를 활용하기 위해 WSC를 다음 문장 예측 작업으로 재정의.
• 다양한 분할 방식에서 성능 평가: 전체 WSC, 연결성/비연결성 하위집합, 스위치되지 않은/스위치된/일관성 있는 변형.
• 미세조정 데이터 크기를 체계적으로 변화시켜(0%에서 100%까지) 데이터 효율성과 확장성 평가.
• BERT 레이어에 마스킹 전략을 적용하여 의존 구조 통합이 가장 유익한 레이어 탐색.

실험 결과

연구 질문

• RQ1 작은 애너테이션된 데이터셋에서의 미세조정이 BERT의 Winograd Schema Challenge 성능 향상에 얼마나 기여하는가?
• RQ2 비연결성 하위집합에서의 성능에 대해 문법적 의존 구조를 통합하는 것이 어떤 영향을 미치는가?
• RQ3 미세조정으로 얻는 성능 향상은 연결성과 비연결성 WSC 인스턴스 간에 어떻게 다를까?
• RQ4 미세조정 데이터셋의 크기와 최종 모델 정확도 사이의 상관관계는 어떠한가?
• RQ5 내부 모델링 대비 외부 모델링 방식 중 어느 것이 BERT에서 WSC에 더 나은 성능을 낳는가?

주요 결과

• 제안된 모델은 전체 Winograd Schema Challenge에서 새로운 최고 성능 기록인 71.1%의 정확도를 달성하였다.
• Raham-Ng 데이터셋에서의 미세조정이 성능 향상에 결정적인 역할을 하였으며, 미세조정 비율이 0%일 때 52.7%에서 100%일 때 71.1%로 상승하였다.
• 미세조정은 더 단순한 연결성 하위집합에서 더 큰 성능 향상을 보였으며, 정확도가 48.6%에서 81.1%로 상승한 반면, 비연결성 하위집합은 53.4%에서 69.5%로 상승하였다.
• BERT-large의 마지막 다섯 레이어를 마스킹하여 의존 구조를 모델링한 결과가 가장 높은 성능(71.1%)을 기록하였으며, 이는 더 어려운 비연결성 케이스에서 일관된 향상을 보여주었다.
• 외부 모델링 방식(예: TransformerRNN)은 가장 우수한 내부 모델링 설정에 비해 떨어지며, 특히 BERT-large에서는 더욱 두드러졌다.
• 더 큰 미세조정 데이터셋일수록 성능 향상이 있었으며, 정확도가 60%일 때 66.7%에서 100%일 때 71.1%로 단조롭게 증가하였다. 이는 더 많은 애너테이션 데이터가 성능 향상에 기여할 수 있음을 시사한다.