[논문 리뷰] Handshakes AI Research at CASE 2021 Task 1: Exploring different approaches for multilingual tasks

Vivek Kalyan, Paul Tan외 2명|arXiv (Cornell University)|2021. 10. 29.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 논문은 사전 훈련된 다국어 트랜스포머를 사용하여 문서, 문장, 공명사, 이벤트 추출 작업을 포함한 다국어 사회정치적 및 위기 이벤트 탐지에 다국어 접근 방식을 제시한다. 단일 XLM-RoBERTa 모델을 복합 다국어 데이터셋에 대해 훈련하고, 단어 수준 번역과 LaBSE 임베딩을 활용한 다국어 간 전이를 통해 저자들은 최첨단 성능을 달성하였으며, 특히 훈련 데이터가 없는 언어인 히누어에 대한 제로샷 일반화 능력이 향상되었다.

ABSTRACT

The aim of the CASE 2021 Shared Task 1 (H\\"urriyeto\\u{g}lu et al., 2021) was to detect and classify socio-political and crisis event information at document, sentence, cross-sentence, and token levels in a multilingual setting, with each of these subtasks being evaluated separately in each test language. Our submission contained entries in all of the subtasks, and the scores obtained validated our research finding: That the multilingual aspect of the tasks should be embraced, so that modeling and training regimes use the multilingual nature of the tasks to their mutual benefit, rather than trying to tackle the different languages separately. Our code is available at https://github.com/HandshakesByDC/case2021/

연구 동기 및 목표

• 다양한 NLP 작업을 통해 다국어 사회정치적 및 위기 이벤트 탐지 및 분류를 위한 통합 다국어 시스템을 개발하기.
• 다국어 데이터에 대한 공동 훈련이 언어별 특화 미세조정보다 성능을 향상시키는지 조사하기.
• 사용자 지정 훈련 데이터 없이 저자원 언어인 히누어에 대한 제로샷 분류를 가능하게 하기.
• 단어 수준 번역 및 다국어 문장 임베딩을 통한 다국어 간 전이의 효과성 평가하기.
• 다양한 언어 간 공통 모델링이 본래 언어와 예측되지 않은 언어 양쪽에서 성능 향상에 기여하는지 확인하기.

제안 방법

• 영어, 스팘니쉬, 포르투갈어, 히누어를 포함한 복합 다국어 데이터셋에 대해 단일 XLM-RoBERTa-base 모델을 훈련하였다.
• 저자원 언어를 위한 다국어 간 전이를 가능하게 하기 위해 LaBSE 및 LASER 임베딩을 사용하였다.
• 이중어 사전를 활용한 단어 수준 번역을 통해 보조 언어의 합성 훈련 데이터를 생성하였다.
• 이벤트 추출에서 BIO 태깅 일관성을 유지하기 위해 제약 조건이 있는 전이 확률을 사용한 비터비 디코딩을 적용하였다.
• 모든 언어의 훈련 데이터를 하나의 데이터셋으로 통합하여 모델 일반화 능력을 향상시켰다.
• 이진 분류 작업을 위해 풀드 트랜스포머 출력 위에 분류 헤드를 추가하여 모델을 미세조정하였다.

실험 결과

연구 질문

• RQ1 통합 데이터에 대해 훈련된 단일 다국어 모델이 다국어 이벤트 탐지 작업에서 언어별 특화 모델을 능가할 수 있는가?
• RQ2 번역된 데이터를 통한 다국어 간 전이가 히누어와 같은 저자원 언어에서 성능 향상에 얼마나 기여하는가?
• RQ3 공동 다국어 훈련이 영어와 같은 고자원 언어에서 단일 언어 미세조정 대비 성능에 어떤 영향을 미치는가?
• RQ4 다국어 문장 임베딩(예: LaBSE, M-USE)의 사용이 예측되지 않은 언어에 대한 제로샷 일반화 능력을 향상시키는가?
• RQ5 제약 조건이 있는 디코딩(예: BIO 제약 조건이 있는 비터비)이 다국어 환경에서 이벤트 추출 품질에 어떤 영향을 미치는가?

주요 결과

• Subtask 2(문장 분류)에서 가장 우수한 모델이 포르투갈어에서 대회 F1 스코어 0.8506을 기록하여 언어별 기준선을 초월하였다.
• 복합 다국어 데이터셋에 대한 훈련은 스패니쉬어와 포르투갈어에서 성능 향상을 이끌었으며, 영어는 기존 데이터가 풍부하여 성능 향상이 미미했다.
• Subtask 4(이벤트 추출)에서 비터비 디코딩과 단어 수준 번역 데이터를 모두 사용한 모델은 영어에서 검증 F1 82.53, 스패니쉬어에서 62.17, 포르투갈어에서 72.75를 기록하였다.
• Subtask 4에서 모델는 스패니쉬어와 포르투갈어 양쪽에서 2위의 최종 대회 순위를 기록하여 보조 언어로의 강력한 일반화 능력을 보였다.
• 테스트 세트에서의 성능은 검증 세트보다 약 5% 낮게 나타나, 검증 분할에서 분포 이질성 또는 데이터 泄露가 발생했을 가능성을 시사했다.
• 번역된 보조 언어 데이터 추가로 수렴 시간이 약 2배 증가했지만 F1 스코어가 향상되어, 성능 저하 없이 효과적인 데이터 증강이 이루어졌음을 시사했다.