[논문 리뷰] Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data

Akshat Gupta, Sai Krishna Rallabandi외 1명|arXiv (Cornell University)|2021. 02. 24.

Natural Language Processing Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 타밀-영어 및 말라요람-영어 데이터셋에서 코드 스위칭된 감성 분석을 위한 작업 특화 사전 훈련과 다국어 간 전이 학습을 비교한다. BERT 기반 모델을 사용하여, 목표 언어 데이터에서 영어 BERT를 미세 조정하는 작업 특화 사전 훈련이, mBERT나 XLM-RoBERTa와 같은 다국어 모델을 활용하는 것보다 성능이 뛰어나며, 특히 제로샷 및 지도 학습 설정에서 도메인 및 스크립트 불일치로 인해 다국어 모델이 성능을 내지 못함을 발견하였다.

ABSTRACT

Using task-specific pre-training and leveraging cross-lingual transfer are two of the most popular ways to handle code-switched data. In this paper, we aim to compare the effects of both for the task of sentiment analysis. We work with two Dravidian Code-Switched languages - Tamil-Engish and Malayalam-English and four different BERT based models. We compare the effects of task-specific pre-training and cross-lingual transfer and find that task-specific pre-training results in superior zero-shot and supervised performance when compared to performance achieved by leveraging cross-lingual transfer from multilingual BERT models.

연구 동기 및 목표

• 코드 스위칭된 드라비디아어 언어에서 감성 분석을 위한 작업 특화 사전 훈련과 다국어 간 전이 학습의 효과성을 평가하고 비교하는 것.
• BERT 기반 모델을 사용하여 타밀-영어 및 말라요람-영어 코드 스위칭 감성 데이터셋에 대해 강력한 기준 성능을 수립하는 것.
• 다국어 BERT 모델이 비라틴 문자를 사용하는 코드 스위칭 데이터에 대해 지식을 효과적으로 전이할 수 있는지 조사하는 것.
• 언어적으로 유사한 코드 스위칭 언어(예: 힌글리시)에서의 미세 조정이 제로샷 전이 성능을 향상시키는지 탐색하는 것.
• 다국어 간 전이 학습과 작업 특화 사전 훈련을 조합함으로써 일반화 성능 향상 여부를 평가하는 것.

제안 방법

• 작업 특화 사전 훈련을 위해, 타밀-영어 및 말라요람-영어 데이터셋에 대해 단일 언어 영어 BERT 모델(TweetEval)을 미세 조정하였다.
• 제로샷 및 소수의 샘플을 활용한 전이 학습을 위해 다국어 BERT 모델(mBERT 및 XLM-RoBERTa)을 코드 스위칭 데이터에 대해 평가하였다.
• 다국어 간 전이 학습을 위해 Hinglish Sentimix 데이터셋을 사용하여 중간 단계의 미세 조정을 수행한 후, 목표 언어로의 적응을 수행하였다.
• 세 클래스 감성 분류 작업에 대해 표준 BERT 미세 조정 절차를 적용하였으며, 조기 정지와 학습률 스케줄링을 적용하였다.
• 모든 설정에 대해 개발 및 테스트 세트에서 정밀도, 재현율, F1 점수를 사용하여 모델 성능을 비교하였다.
• 모델 행동 분석을 위해 언어 간 제로샷 전이를 수행하여 일반화 능력과 언어적 유사성 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 코드 스위칭된 데이터에 대해 작업 특화 사전 훈련을 수행하는 것이, 다국어 BERT 모델에서의 다국어 간 전이 학습보다 감성 분석 성능을 더 높게 만드는가?
• RQ2 영어 BERT 모델에서 코드 스위칭된 드라비디아어 언어로의 제로샷 전이 성능는 얼마나 효과적인가? 특히 목표 데이터가 도메인 외부일 경우(예: 유튜브 댓글 vs. 트위터 데이터)에 대해 어떻게 되는가?
• RQ3 언어적으로 유사한 코드 스위칭 언어(예: 힌글리시)에서 단일 언어 모델을 미세 조정하면, 타밀-영어 및 말라요람-영어 데이터셋에서 제로샷 성능이 향상되는가?
• RQ4 다국어 간 전이 학습과 작업 특화 사전 훈련을 조합하면 통계적으로 유의미한 성능 향상이 이루어지는가?
• RQ5 다국어 BERT 모델이 다국어 사전 훈련을 거쳤음에도 불구하고, 라틴 문자로 변환된 드라비디아어 스크립트를 사용하는 코드 스위칭 데이터에서는 성능이 열등한 이유는 무엇인가?

주요 결과

• 목표 코드 스위칭 데이터에서의 작업 특화 사전 훈련이 다국어 BERT 모델에서의 다국어 간 전이 학습보다 일관되게 뛰어난 성능을 보였으며, TweetEval 모델은 말라요람-영어에서 77% F1, 타밀-영어에서 76% F1을 기록하였다.
• 영어 TweetEval 모델의 제로샷 성능은 Hinglish 데이터셋에서 가장 높았으며(77% F1), 트위터 데이터와의 도메인 일치도 우수했지만, 유튜브 기반의 타밀 및 말라요람 데이터셋에서는 낮은 성능을 보였다.
• 가장 우수한 제로샷 결과는 TweetEval 모델이 언어적으로 유사한 코드 스위칭 언어에서 사전 미세 조정된 경우에 달성되었으며, 예를 들어 말라요람에서의 미세 조정은 타밀-영어 성능을 향상시키고, 힌글리시에서의 미세 조정은 말라요람-영어 성능을 향상시켰다.
• TweetEval 모델을 목표 언어로 적응하기 전에 Hinglish에서 1 에포크 동안 미세 조정한 결과, 성능 향상은 미미했으며(타밀-영어에서 F1이 76%에서 77%로, 말라요람-영어에서 77%에서 78%로 상승), 그러나 통계적으로 유의미한 향상은 아니었다.
• 다국어 BERT 모델(mBERT 및 XLM-RoBERTa)은 라틴 문자로 변환된 타밀 및 말라요람 토큰에 대한 표현이 부족하고, 코드 스위칭 사전 훈련 데이터가 없어 성능이 열등했다.
• 이 연구는 작업 특화 사전 훈련을 통해 새로운 기준 F1 점수를 설정하였으며, 타밀-영어 데이터셋에선 76%, 말라요람-영어 데이터셋에선 78%를 기록하였으며, 향후 비교에 활용할 수 있다.