[논문 리뷰] Unsupervised Sentiment Analysis for Code-mixed Data

Siddharth Yadav, Tanmoy Chakraborty|arXiv (Cornell University)|2020. 01. 20.

Natural Language Processing Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 병행어 혼합 텍스트에 대한 비지도 감성 분석을 다국어 및 교차언어 임베딩을 사용하여 제안하며, 번역 대비 병렬 코퍼스나 언어 식별이 없이도 단일 언어 데이터에서 병행어 혼합 데이터로의 제로샷 전이를 가능하게 한다. 영어-스페인어 병행어 혼합 감성 분석에서 이전 최고 성능보다 3.11% 높은 0.58 F1 점수(비지도)와 0.62 F1 점수(병렬 데이터 사용 시)를 기록한다.

ABSTRACT

Code-mixing is the practice of alternating between two or more languages. Mostly observed in multilingual societies, its occurrence is increasing and therefore its importance. A major part of sentiment analysis research has been monolingual, and most of them perform poorly on code-mixed text. In this work, we introduce methods that use different kinds of multilingual and cross-lingual embeddings to efficiently transfer knowledge from monolingual text to code-mixed text for sentiment analysis of code-mixed text. Our methods can handle code-mixed text through a zero-shot learning. Our methods beat state-of-the-art on English-Spanish code-mixed sentiment analysis by absolute 3\% F1-score. We are able to achieve 0.58 F1-score (without parallel corpus) and 0.62 F1-score (with parallel corpus) on the same benchmark in a zero-shot way as compared to 0.68 F1-score in supervised settings. Our code is publicly available.

연구 동기 및 목표

• 병행어 혼합 텍스트에서 언어 혼합과 예측할 수 없는 문법적 구조로 인해 단일 언어 감성 분석 모델의 성능이 떨어지는 문제를 해결한다.
• 라벨이 부여된 병행어 혼합 데이터나 병렬 코퍼스가 필요 없이도 단일 언어 데이터셋에서 병행어 혼합 텍스트로 지식을 전이할 수 있는 제로샷 접근법을 개발한다.
• 병행어 언어에서 고유한 의미적 및 문법적 특징을 포착하는 데에 다양한 다국어 및 교차언어 임베딩의 효과를 평가한다.
• 병행어 예시에 대한 명시적 지도 학습 없이도, 단일 언어 데이터에서의 미세조정 이후 병행어 데이터로의 전이가 성능 향상에 기여함을 입증한다.
• 지식 전이 효율성을 높이기 위해 먼저 단일 언어 데이터에서 학습하고, 그 다음 병행어 데이터에서 학습하는 교육 커리큘럼을 수립한다.

제안 방법

• 단일 언어 코퍼스에서 학습된 다국어 및 교차언어 임베딩—특히 MUSE, LASER, FastText, MultiBPEmb—를 활용하여 다국어 간 공통된 벡터 공간을 구현한다.
• 언어 태그가 필요 없이도 단어/서브워드 수준의 임베딩을 적용하여 병행어 문장의 표현을 언어에 구애받지 않게 한다.
• 임베딩 위에 50개의 뉴런을 가진 단일 레이어 양방향 LSTM과 드롭아웃(0.3)을 적용한 간단한 분류기 모델을 학습하고, 소프트맥스 출력 레이어를 추가한다.
• 두 단계 학습 커리큘럼을 구현한다: 먼저 영어와 스페인어 단일 언어 데이터셋을 통합해 사전 학습하고, 이후 병행어 데이터에서 지도 신호가 있을 경우 미세조정한다.
• 고정된 학습률 0.001을 사용하는 ADAM 옵timizer를 적용하고, 과적합을 방지하기 위해 10 에포크의 조기 정지 기능을 사용한다.
• 기본 영어-스페인어 병행어 혼합 데이터셋을 기준으로 F1 점수를 평가하며, 세 가지 레이블(긍정, 부정, 중립)을 사용한다.

실험 결과

연구 질문

• RQ1 다국어 및 교차언어 임베딩가 병행어 혼합 텍스트에서 라벨이 없는 병행어 데이터 없이도 효과적인 제로샷 감성 분석을 가능하게 할 수 있는가?
• RQ2 사전 구축된 임베딩 기반의 비지도 모델 성능은 병행어 감성 분석에서 지도 학습 기반 최고 성능 모델과 비교해 어떻게 되는가?
• RQ3 병행어 데이터로의 전이 이전에 단일 언어 데이터에서의 미세조정이, 단일 언어와 병행어 데이터를 무작위로 혼합하는 것보다 하류 성능 향상에 기여하는가?
• RQ4 FastText, MUSE, LASER, MultiBPEmb 중 어떤 임베딩 유형이 병행어 감성 분석의 비지도 및 지도 설정에서 가장 높은 성능을 낼 수 있는가?
• RQ5 병행어 감성 분석에서 제로샷 성능 향상에 병행어 단일 언어 코퍼스를 사용할 경우 어떤 정도의 기여를 하는가?

주요 결과

• 제안된 방법은 영어-스페인어 병행어 혼합 감성 분석에서 완전히 비지도 설정에서 0.58 F1 점수를 기록하며, 이는 이전 비지도 접근법을 능가한다.
• 병행어 단일 언어 코퍼스에 액세스할 수 있을 경우, 성능은 0.62 F1 점수로 향상되어 강력한 제로샷 일반화 능력을 입증한다.
• 병행어 데이터에서 훈련한 커스텀-fastText 임베딩은 비지도 설정에서 최고의 성능(0.58 F1)을 기록했으며, 이는 서브워드 수준의 학습이 단일 언어 코퍼스의 연결보다 병행어 언어 패턴을 더 잘 포착함을 시사한다.
• LASER는 제로샷 모드에서 놀라운 0.62 F1 점수를 기록하여 이전 최고 성능 수준에 도달했으며, 공통 인코더를 사용해 번역 작업에서 학습한 것이 효과적임을 보여준다.
• FastText 임베딩을 사용한 모델은 비지도 설정에서 0.584 F1 점수를 기록하며, 이는 이전 SOTA를 3.11% 초과하여 뛰어넘었다.
• 두 단계 학습 커리큘럼—먼저 단일 언어에서 학습하고, 그 다음 병행어 데이터에서 학습하는 방식—은 무작위 혼합보다 더 효과적이며, 체계적인 지식 전이의 중요성을 확인한다.