[논문 리뷰] Atalaya at TASS 2019: Data Augmentation and Robust Embeddings for Sentiment Analysis

Franco M. Luque|arXiv (Cornell University)|2019. 09. 24.

Sentiment Analysis and Opinion Mining인용 수 28

한 줄 요약

이 논문은 스페인어 트윗의 감성 분석을 위한 단순하면서도 효과적인 접근법을 제시한다. 강력한 서브워드 인식 임베딩, 양방향 번역을 통한 데이터 증강 및 새로운 인스턴스 크로스오버 기법, 앙상블 선형 모델을 활용한다. 최소한의 아키텍처 복잡성에도 불구하고, 이 시스템은 TASS 2019 공동 과제에서 최상위 성능을 기록하였으며, 소규모이고 노이즈가 많은 데이터셋에서 강력한 표현과 데이터 증강의 강력한 영향을 입증한다.

ABSTRACT

In this article we describe our participation in TASS 2019, a shared task aimed at the detection of sentiment polarity of Spanish tweets. We combined different representations such as bag-of-words, bag-of-characters, and tweet embeddings. In particular, we trained robust subword-aware word embeddings and computed tweet representations using a weighted-averaging strategy. We also used two data augmentation techniques to deal with data scarcity: two-way translation augmentation, and instance crossover augmentation, a novel technique that generates new instances by combining halves of tweets. In experiments, we trained linear classifiers and ensemble models, obtaining highly competitive results despite the simplicity of our approaches.

연구 동기 및 목표

• 스페인어 트윗의 저자원 감성 분석에서의 데이터 부족 문제를 해결하기 위해.
• 9000만 개의 트윗에서 훈련된 서브워드 인식 단어 임베딩을 활용해 모델의 강건성을 향상시키기 위해.
• 새로운 데이터 증강 기법(예: 인스턴스 크로스오버 및 번역 기반 증강)의 효과를 평가하기 위해.
• 복잡한 딥 러닝 아키텍처 없이도 경쟁 가능한 성능을 달성하기 위해.
• 제거 분석을 통해 각 구성 요소의 기여도를 분석하기 위해.

제안 방법

• 트윗 표현을 위해 가중 평균을 사용하는 Bag-of-Words (BoW), Bag-of-Characters (BoC), 트윗 임베딩의 조합.
• 다양한 스페인어 사용 국가에서 수집한 9000만 개 트윗 코퍼스를 기반으로 fastText 서브워드 인식 임베딩을 훈련하여 커버리지와 강건성을 향상시켰다.
• 두 가지 데이터 증강 전략을 적용: 양방향 번역(영어, 프랑스어, 포르투갈어, 아랍어로의 번역 및 역번역)과 인스턴스 크로스오버, 즉 서로 다른 트윗의 반을 조합하여 새로운 훈련 인스턴스를 생성하는 기법.
• 노이즈 감소, 否정문 처리, 정규화를 포함한 전처리를 통해 의미적 표현을 향상시켰다.
• 로지스틱 회귀 및 배깅 앙상블을 분류기로 사용하였으며, 개발 세트에서 초모수 튜닝을 수행하였다.
• 각 구성 요소(표현, 증강, 모델 유형)의 기여도를 분리하기 위해 제거 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 새로운 자원이 필요 없는 데이터 증강 기법으로 도입된 인스턴스 크로스오버 증강 기법은 저자원 환경에서 감성 분류 성능 향상에 얼마나 효과적인가?
• RQ2 표준 단어 임베딩에 비해, 강력한 서브워드 인식 임베딩은 트윗과 같은 노이즈가 많고 짧은 텍스트 데이터에서 성능을 얼마나 향상시키는가?
• RQ3 적절한 특징 공학과 데이터 증강을 통해 단순한 선형 모델이 저자원 감성 분석에서 복잡한 신경망보다 뛰어난 성능을 낼 수 있는가?
• RQ4 다양한 텍스트 표현 방식(BoW, BoC, 트윗 임베딩) 중 어떤 것이 전체 시스템 성능에 더 큰 기여를 하는가?
• RQ5 데이터 증강 기법은 다중 클래스 감성 분석에서 소수 클래스(Neu, None)의 분류에 어떤 영향을 미치는가?

주요 결과

• 최고의 시스템은 ES 데이터셋의 테스트 세트에서 매크로-F1 스코어 48.42를 기록하여, 서브태스크 1에서 2위를 차지했다.
• 인스턴스 크로스오버 증강 기법은 전체 정확도에 영향을 주지 않으면서도 F1 스코어를 향상시켜, 소수 클래스(Neu, None)에 특별한 기여가 있음을 시사한다.
• 트윗 임베딩은 BoW나 BoC 표현보다 훨씬 더 큰 기여를 하였으며, 전체 시스템은 ES 개발 세트에서 64.37%의 정확도와 52.77%의 매크로-F1 스코어를 기록했다.
• 제거 분석 결과, 임베딩을 제거하면 매크로-F1이 41.83%로 감소하여, 성능 향상에서 임베딩의 핵심적인 역할을 확인할 수 있었다.
• 한정된 실험에도 불구하고 다국어 결과는 강력했으며, 서브태스크 2에서 PE, UY, MX에서 각각 1위를 기록했고, PE 테스트 세트에서 54.64%의 정확도를 기록했다.
• 번역 기반 증강과 인스턴스 크로스오버의 조합이 가장 뛰어난 성능을 냈으며, 전체 시스템은 모든 데이터셋에서 베이스라인을 초월했다.