[논문 리뷰] MTLB-STRUCT @PARSEME 2020: Capturing Unseen Multiword Expressions Using Multi-task Learning and Pre-trained Masked Language Models

Shiva Taslimipoor, Sara Bahaadini외 1명|arXiv (Cornell University)|2020. 11. 04.

Topic Modeling참고 문헌 22인용 수 15

한 줄 요약

이 논문은 다국어 BERT를 사용하여 구어적 다어휘어구(VMWE)와 의존 구문 트리를 동시에 예측하는 다중 작업 학습 시스템인 MTLB-STRUCT를 제안한다. BERT의 은닉 표현을 공유하고 트리 CRF를 활용함으로써, 14개 언어에서 미리 보지 않은 VMWE에 대해 최신 기술 수준의 F1 스코어를 달성하였으며, PARSEME 2020 공동 과제에서 1위를 기록하였다.

ABSTRACT

This paper describes a semi-supervised system that jointly learns verbal multiword expressions (VMWEs) and dependency parse trees as an auxiliary task. The model benefits from pre-trained multilingual BERT. BERT hidden layers are shared among the two tasks and we introduce an additional linear layer to retrieve VMWE tags. The dependency parse tree prediction is modelled by a linear layer and a bilinear one plus a tree CRF on top of BERT. The system has participated in the open track of the PARSEME shared task 2020 and ranked first in terms of F1-score in identifying unseen VMWEs as well as VMWEs in general, averaged across all 14 languages.

연구 동기 및 목표

• 다양한 언어에서 자원이 적거나 제로샷 설정에서 미리 보지 않은 다어휘어구(MWE)를 탐지하는 문제를 해결하기 위해.
• 사전 훈련된 언어 모델과 준지도 다중 작업 학습을 활용하여 MWE 탐지의 일반화 성능을 향상시키기 위해.
• VMWE 태깅과 의존 구문 분석을 동시에 학습시켜 문맥적 및 의미적 표현 학습을 향상시키기 위해.
• 언어별 특화된 기능이나 데이터 정제 없이도 안정적으로 작동하는 다국어 시스템을 개발하기 위해.
• 특히 자원이 적고 OOV(MWE 비율이 높은) 상황에서 볼 수 있는 보이는 MWE와 보이지 않는 MWE에 대한 성능을 평가하기 위해.

제안 방법

• VMWE 탐지와 의존 구문 분석 양자 모두의 공통적인 문맥 인코더로 다국어 BERT를 미세조정한다.
• BERT의 최종 은닉 상태 위에 선형 레이어를 적용하여 토큰 분류 방식으로 VMWE 태그를 예측한다.
• 이중선형 레이어와 트리 CRF를 사용하여 의존 구문 트리를 모델링함으로써 구조적 일관성을 확보한다.
• 두 작업 간에 BERT의 은닉 표현을 공유함으로써 파라미터 효율성과 다중 작업 간 지식 전이를 가능하게 한다.
• VMWE 태깅과 의존 구문 분석 손실을 결합한 공동 목적 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 언어별 수정 없이 14개 언어 전역에 동일하게 적용되며, 데이터 증강 조치 없이도 작동한다.

실험 결과

연구 질문

• RQ1 VMWE 탐지와 의존 구문 분석의 공동 학습이 보이지 않는 MWE에 대한 제로샷 및 소수 샘플 일반화 성능을 향상시키는가?
• RQ2 BERT를 활용한 다중 작업 학습이 다양한 언어에서 MWE의 문법적 및 의미적 특수성을 효과적으로 포착하는가?
• RQ3 트리 CRF의 통합이 표준 CRF나 선형 디코딩 대비 구문 품질 향상과 이로 인한 MWE 탐지 성능 향상에 기여하는가?
• RQ4 사전 훈련된 BERT 표현이 데이터 부족 문제를 완화하고, OOV 비율이 높은 저자원 언어에서 성능 향상에 얼마나 기여하는가?
• RQ5 이 시스템은 이질적인 MWE 유형(예: 분리형, 경량동사 구조 포함)에 대해 어떻게 작동하는가? 특히 저자원 환경에서의 성능은 어떠한가?

주요 결과

• PARSEME 2020 공동 과제에서 14개 언어 전역으로 가장 높은 전반적인 MWE 기반 F1 스코어 70.14를 기록하였다.
• 개방 트랙에서 가장 높은 보이지 않는 MWE 기반 F1 스코어 38.53을 기록하여 1위를 차지하였다.
• 포르투갈어(PT)에서, 두 번째로 좋은 시스템인 Seen2Unseen보다 보이지 않는 MWE에서 F1 점수로 21.59 포인트 높게 기록하였다.
• 힌두어(HI)에서는 우리 시스템과 Seen2Unseen 간의 F1 점수 격차가 10.45 포인트였으며, 이는 OOV 비율이 높은 언어에서 강력한 일반화 성능을 보여주었다.
• 보이지 않는 MWE 비율이 높은 언어들(예: GA, HE, HI)에서 가장 뛰어난 성능을 보였으며, 이는 강력한 제로샷 일반화 능력을 시사한다.
• 힌두어(7%)와 터키어(4%)에서 이질적인 MWE에 대해 성능이 크게 떨어졌으며(최대 30 F1 포인트 감소), 이는 문법적 복잡성 처리에 어려움이 있음을 시사한다.