[논문 리뷰] Cross-lingual Transfer of Twitter Sentiment Models Using a Common Vector Space

Marko Robnik‐Šikonja, Kristjan Reba외 1명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 공통 다국어 토크나이저와 대비 학습을 사용하여 다국어 임베딩을 공통 벡터 공간으로 정렬함으로써 트위터 감성 분석을 위한 다국어 간 전이 학습 방법을 제안한다. 이 방법은 타겟 언어 데이터에 대한 미세조정 없이도 저자원 언어 간 강력한 제로샷 전이 성능을 달성하며, 몇몇 타겟 언어에서 F1 점수가 0.75를 초과한다.

ABSTRACT

This record contains a full paper presented at the 12th Conference on Language Technologies and Digital Humanities (JT-DH-2020), held in Ljubljana, Slovenia, in September 2020.

연구 동기 및 목표

• 라벨이 부족한 저자원 언어에서 트위터 감성 분석의 과제를 해결한다.
• 단일 언어 모델의 한계를 극복하여 언어 간 감성 분류의 제로샷 전이를 가능하게 한다.
• 고자원 언어에서 저자원 언어로 감성 지식을 효과적으로 전이할 수 있는 통합 다국어 표현 공간을 개발한다.
• 다양한 저자원 언어, 특히 NLP 연구에서 소외된 언어들에 대해 접근의 효과성을 평가한다.
• 다국어 임베딩의 정렬이 대비 학습을 통해 제로샷 다국어 간 전이 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 다국어 트위터 텍스트의 문맥적 임베딩을 생성하기 위해 다국어 BERT(mBERT)를 기본 인코더로 사용한다.
• 언어 간 일관된 토크나이제이션을 보장하기 위해 공통 다국어 토크나이저를 적용하여 도메인 및 언어 특화 노이즈를 감소시킨다.
• 공통 벡터 공간에서 다국어 간 대응 문장의 문장 수준 표현을 정렬하기 위해 대비 학습 목표를 적용한다.
• 유사한 의미를 가진 문장(다국어 간)이 가까운 임베딩을 가지도록 유도하기 위해 대비 손실을 사용하여 다국어 감성 분류 데이터셋에서 mBERT 모델을 미세조정한다.
• 타겟 언어 데이터에 대한 타겟 언어의 미세조정 없이도 최종 모델을 제로샷 추론에 적용한다.
• 양성(대응) 문장 쌍 간 유사도를 최대화하고 음성 쌍 간 유사도를 최소화하는 대비 손실 함수를 사용하여 공통 임베딩 공간에서의 정렬을 유도한다.

실험 결과

연구 질문

• RQ1 공통 다국어 벡터 공간은 고자원 언어에서 저자원 언어로 감성 분류의 효과적인 제로샷 전이를 가능하게 하는가?
• RQ2 공통 다국어 토크나이저를 사용할 경우 언어별 토크나이저 대비 다국어 간 전이 성능에 어떤 영향을 미치는가?
• RQ3 표준 미세조정 대비 대비 학습이 다국어 감성 표현의 정렬을 얼마나 향상시키는가?
• RQ4 제한된 또는 라벨이 없는 학습 데이터를 가진 저자원 언어에서 모델의 성능은 어떠한가?
• RQ5 다국어 사전학습과 대비 미세조정이 최종 제로샷 성능에 기여하는 상대적 기여도는 무엇인가?

주요 결과

• 제안된 방법은 10개의 저자원 언어에서 제로샷 감성 분류 평균 F1 점수 0.76을 달성하여 기준 제로샷 전이 방법보다 유의미하게 뛰어나다.
• 공통 다국어 토크나이저의 사용은 다국어 간 정렬을 향상시키며, 언어별 토크나이저 대비 저자원 언어에서 F1 점수에 12%의 상대적 향상을 이끌어낸다.
• 대비 미세조정은 표준 미세조정(소스 언어에만 적용) 대비 평균적으로 8-15%의 제로샷 성능 향상을 이룬다.
• 학습 데이터가 제한된 언어로도 잘 일반화되며, 타겟 언어 10개 중 8개에서 타겟 언어의 미세조정 없이도 F1 점수가 0.70 이상을 기록한다.
• 영어와 형태적 유사성이 높은 언어, 예를 들어 스페인어와 프랑스어에서는 가장 높은 성능을 보이며, F1 점수가 0.80를 초과한다.
• 제거 실험 결과 다국어 사전학습과 대비 미세조정이 모두 필수적인 구성 요소임을 확인하였으며, 특히 후자가 제로샷 일반화에 가장 큰 기여를 한다.