[논문 리뷰] kk2018 at SemEval-2020 Task 9: Adversarial Training for Code-Mixing Sentiment Classification

Jiaxiang Liu, Xuyi Chen외 6명|arXiv (Cornell University)|2020. 09. 08.

Natural Language Processing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 SemEval-2020 Task 9 히нд어-영어 코드 믹싱 감성 분류 데이터셋에서 최신 기술 성능을 달성하기 위해 다국어 XLM-R 기반의 적대적 훈련을 제안한다. 도메인 전이를 통해 강력한 단어장 모델(ERNIE)을 활용한 것이 놀랍게도 강력한 베이스라인을 제공하며, 적대적 훈련은 일반화 능력과 테스트 성능을 크게 향상시킨다. 앙상블 방법을 통해 최종적으로 1위의 F1 스코어 0.7526을 기록한다.

ABSTRACT

Code switching is a linguistic phenomenon that may occur within a multilingual setting where speakers share more than one language. With the increasing communication between groups with different languages, this phenomenon is more and more popular. However, there are little research and data in this area, especially in code-mixing sentiment classification. In this work, the domain transfer learning from state-of-the-art uni-language model ERNIE is tested on the code-mixing dataset, and surprisingly, a strong baseline is achieved. Furthermore, the adversarial training with a multi-lingual model is used to achieve 1st place of SemEval-2020 Task 9 Hindi-English sentiment classification competition.

연구 동기 및 목표

• 저자원 코드 믹싱 감성 분류 작업에 대해 단어장 사전 훈련 모델(ERNIE)의 도메인 전이 학습 효과를 조사하는 것.
• 작은 코드 믹싱 데이터셋에서 일반화 능력을 향상시키기 위해 적대적 훈련을 정규화 방법으로 평가하는 것.
• SemEval-2020 Task 9 히нд어-영어 코드 믹싱 감성 분류 벤치마크에서 최신 기술 성능을 달성하는 것.
• 적대적 훈련의 하이퍼파라미터가 모델의 강건성과 성능에 미치는 영향을 분석하는 것.

제안 방법

• 도메인 전이 학습을 활용해 히нд어-영어 코드 믹싱 데이터셋에 직접 ERNIE 2.0 단어장 모델을 피지터링하여 강력한 베이스라인을 확보한다.
• 백본을 다국어 XLM-R 모델로 교체하고, 임bedding 공간 내 작은 ε-구역 안에서 단어 임베딩을 변형함으로써 적대적 훈련을 적용한다.
• 학습 중 일반화 능력을 향상시키기 위해 α=1로 설정된 준지도 학습 적대적 손실을 도입한다.
• Adam 옵tim자와 함께 선형적 웜업 학습률 스케줄을 사용하고 5 에포크 동안 훈련하며, 개발 세트에서 성능이 가장 우수한 모델을 선택한다.
• 10겹 교차검증 모델과 다양한 하이퍼파라미터 설정을 조합한 앙상블을 구성하고, 예측 결과를 확률 평균화 방법으로 통합한다.
• OoV(Out-of-Vocabulary) 단어를 줄이고, 특히 인도-계열 언어 쌍에서의 다국어 전이 성능을 향상시키기 위해 BPE 토크나이저를 적용한다.

실험 결과

연구 질문

• RQ1 ERNIE와 같은 단어장 사전 훈련 모델이 저자원 코드 믹싱 감성 분류 작업에 도메인 전이 학습을 통해 강력한 성능을 달성할 수 있는가?
• RQ2 임베딩 공간 내 변형을 적용한 적대적 훈련이 코드 믹싱 텍스트에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 코드 믹싱 감성 분류 작업에서 적대적 훈련의 최적의 ε 값은 무엇이며, 개발 및 테스트 세트 스코어에 어떤 영향을 미치는가?
• RQ4 적대적 훈련은 작은 코드 믹싱 데이터셋에서 과적합을 줄이고 일반화 능력을 향상시키는가? 이는 다양한 폴드 간 성능 향상으로 나타나는가?
• RQ5 다양한 모델과 하이퍼파라미터를 조합한 앙상블 방법이 개별 모델을 초월해 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 단어장 ERNIE 2.0 모델은 영어 전용 데이터로 훈련되었음에도 불구하고 강력한 베이스라인 테스트 F1 스코어 0.6725를 기록하여 효과적인 도메인 전이가 이루어졌음을 보여준다.
• ERNIE를 XLM-R로 교체함으로써 테스트 F1 스코어가 0.7177로 향상되었으며, 이는 다국어 사전 훈련이 코드 믹싱 작업에 유리함을 시사한다.
• ε=5로 설정한 적대적 훈련이 가장 높은 테스트 F1 스코어 0.7349를 기록하여, 적대적 정규화가 모델의 강건성과 성능을 향상시킨다는 것을 입증한다.
• ε=2로 설정한 모델가 개발 F1 스코어 0.6723을 기록하여 중간 수준의 변형 수준이 일반화 능력을 최적화함을 나타낸다.
• 최종 앙상블 모델은 최신 기술 F1 스코어 0.7526을 기록하여 SemEval-2020 Task 9 경연에서 1위를 차지했다.
• 성능 향상에도 불구하고 중립 클래스의 정밀도가 낮아, 모델가 명확한 감성 신호를 탐지하는 데에 편향되어 있으며, 모호하거나 중립적인 예측에 어려움을 겪고 있음을 시사한다.