[논문 리뷰] Zero-shot hashtag segmentation for multilingual sentiment analysis

Ruan Chaves Rodrigues, Marcelo Akira Inuzuka외 4명|arXiv (Cornell University)|2021. 12. 06.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 사전 훈련된 트랜스포머 모델(GPT-2 및 BERT)을 사용하여 피닝 테이닝 없이도 최상의 성능을 달성하는 제로샷 해시태그 분할 프레임워크를 제안한다. 이는 다국어 감성 분석을 크게 향상시키며, 저자원 언어에서의 정확한 해시태그 분할 및 번역을 가능하게 한다. 기존 번역 기반 기준 방법에 비해 여러 언어에서 뛰어난 성능을 보인다.

ABSTRACT

Hashtag segmentation, also known as hashtag decomposition, is a common step in preprocessing pipelines for social media datasets. It usually precedes tasks such as sentiment analysis and hate speech detection. For sentiment analysis in medium to low-resourced languages, previous research has demonstrated that a multilingual approach that resorts to machine translation can be competitive or superior to previous approaches to the task. We develop a zero-shot hashtag segmentation framework and demonstrate how it can be used to improve the accuracy of multilingual sentiment analysis pipelines. Our zero-shot framework establishes a new state-of-the-art for hashtag segmentation datasets, surpassing even previous approaches that relied on feature engineering and language models trained on in-domain data.

연구 동기 및 목표

• 작업 전용 피닝 테이닝 또는 도메인 특화 사전 훈련이 필요 없는 제로샷 해시태그 분할 프레임워크를 개발하는 것.
• 일반 목적의 사전 훈련된 언어 모델(GPT-2, BERT 등)이 제로샷 해시태그 분할에서 얼마나 효과적인지 평가하는 것.
• 다국어 감성 분석 파이프라인에 해시태그 분할을 통합하여 저자원 언어에서 성능을 향상시키는 것.
• 이전의 특징 엔지니어링 또는 도메인 특화 피닝 테이닝에 의존한 방법과 비교해 제로샷 분할이 우수하거나 동등한 성능을 내는지 입증하는 것.
• 재현성과 생산적 사용을 위해 오픈소스 구현을 공개하는 것.

제안 방법

• 빔 서치를 사용하여 후보 분할을 생성하기 위해 GPT-2를 세그멘터로, BERT를 재순서화 모듈로 조합한다.
• 개발 세트에서 최적화된 초모수 α=0.2 및 β=0.1를 사용하여 학습된 점수 함수를 적용해 재순서화를 수행한다.
• 세그멘터 모듈을 통해 해시태그를 단어 유사 단위로 분할한 후, 유창성과 통일성 기반으로 후보를 재순서화한다.
• 표 5의 언어별 모델을 사용하여 다국어 데이터셋에 프레임워크를 적용함으로써 다국어 호환성을 확보한다.
• 세 가지 번역 전략인 번역(T), 코드 믹스드 번역(CMT), 코드 믹스드 번역 및 세그멘테이션(CMTS)을 통해 감성 분석 파이프라인에 분할 단계를 통합한다.
• 자동 번역에 MarianMT를 사용하고, UMSAB 벤치마크에서 F-스코어를 평가한다.

실험 결과

연구 질문

• RQ1 일반 목적의 사전 훈련된 언어 모델이 피닝 테이닝 없이도 경쟁적인 제로샷 해시태그 분할 성능을 달성할 수 있는가?
• RQ2 번역 파이프라인에 통합된 제로샷 해시태그 분할이 다국어 감성 분석에 어떻게 기여하는가?
• RQ3 분할과 번역을 통합한 CMTS 방법이 다양한 언어에서 직접 번역(T)에 비해 일관되게 슈퍼리어한 성능을 내는가?
• RQ4 모델 아키텍처와 사전 훈련 데이터가 저자원 언어에서 제로샷 분할 성능에 미치는 영향은 무엇인가?
• RQ5 통합된 제로샷 프레임워크가 감성 분석을 위한 해시태그 분할에서 언어별 모델의 필요성을 대체할 수 있는가?

주요 결과

• 제안된 제로샷 프레임워크는 TEST-BOUN 해시태그 분할 데이터셋에서, 도메인 특화 피닝 테이닝이나 특징 엔지니어링에 의존하는 기존 방법들을 능가하는 최고 수준의 성능을 달성한다.
• 아랍어에서는 CMTS 방법이 F-스코어 76.4%를 기록하여 번역 기준선(73.1%)보다 3.3% 향상되었다.
• 독일어와 이탈리아어에서는 CMTS 방법이 기준선 대비 뚜렷한 성능 향상을 보이며, 유사 언어에서의 효과성을 입증했다.
• 스페인어에서는 CMTS 방법이 기준선보다 1.0% 낮은 성능을 보였으며, 일부 언어 쌍에서는 성능 향상이 제한된 것으로 나타났다. 이는 모델 고유의 사전 훈련 특성 때문일 가능성이 높다.
• 힌두어 데이터셋은 가장 도전적인 문제로 간주되었으며, 기준선 대비 성능 향상이 관찰되지 않아 저자원 언어 간 전이의 한계를 보여주었다.
• 이 프레임워크는 언어별 모델 훈련 없이도 다국어 감성 분석 파이프라인을 성공적으로 구현하며 계산 비용을 절감한다.