[논문 리뷰] Improved Sentiment Detection via Label Transfer from Monolingual to Synthetic Code-Switched Text

Bidisha Samanta, Niloy Ganguly외 1명|arXiv (Cornell University)|2019. 01. 01.

Hate Speech and Cyberbullying Detection참고 문헌 37인용 수 6

한 줄 요약

이 논문은 문법 규칙이나 언어학적 규칙 없이 구성문_PARSE 기반의 세그먼트 교체와 번역 정렬을 통해 단일 언어 문장의 감성 레이블을 합성된 혼합어 문장으로 전이함으로써 감성 레이블이 부여된 혼합어 텍스트를 합성하는 CSGen을 제안한다. 이 방법은 영어-벵골어 혼합어 텍스트에서 감성 검출 성능을 최대 7.20%p 향상시키며, 합성 데이터 증강을 통해 클래스 불균형 문제를 완화함으로써 혐오 발언 검출 성능을 6%p 향상시킨다.

ABSTRACT

Multilingual writers and speakers often alternate between two languages in a single discourse, a practice called "code-switching".Existing sentiment detection methods are usually trained on sentiment-labeled monolingual text.Manually labeled code-switched text, especially involving minority languages, is extremely rare.Consequently, the best monolingual methods perform relatively poorly on code-switched text.We present an effective technique for synthesizing labeled code-switched text from labeled monolingual text, which is more readily available.The idea is to replace carefully selected subtrees of constituency parses of sentences in the resource-rich language with suitable token spans selected from automatic translations to the resource-poor language.By augmenting scarce human-labeled code-switched text with plentiful synthetic code-switched text, we achieve significant improvements in sentiment labeling accuracy (1.5%, 5.11%, 7.20%) for three different language pairs (English-Hindi, English-Spanish and English-Bengali).We also get significant gains for hate speech detection: 4% improvement using only synthetic text and 6% if augmented with real text.

연구 동기 및 목표

• 저자원 언어 쌍을 위한 수동으로 레이블링된 혼합어 텍스트의 부족 문제를 해결하기 위해.
• 현재 단일 언어 모델이 어려움을 겪는 사회적 미디어 혼합어 텍스트에서 감성 검출 성능을 향상시키기 위해.
• 고품질의 감성 정확도를 갖춘 합성 혼합어 문장을 생성하기 위한 데이터 기반, 문법 불필요한 방법을 개발하기 위해.
• 합성 데이터만 또는 실제 데이터와 조합하여 학습된 모델이 부족한 실제 레이블이 부여된 혼합어 데이터로만 학습된 모델보다 성능을 뛰어넘을 수 있음을 입증하기 위해.
• 합성 데이터 증강을 통해 혐오 발언 검출에서의 레이블 불균형 문제를 완화하기 위해.

제안 방법

• CSGen은 단일 언어 원본 문장의 문법적 하위트리를 식별하기 위해 구성문_PARSE를 사용하여 잠재적인 혼합어 전환 지점을 식별한다.
• 신경 기계적 번역 모델을 사용하여 원본 문장을 목표 언어로 번역하여 평행 문장 쌍을 생성한다.
• 감성 민감도와 문법 경계를 기반으로 원본 문장의 세그먼트를 교체 대상으로 선택하며, 의견을 담고 있는 구성요소를 우선시한다.
• 단어 임베딩 유사도와 주의 기반 정렬을 사용하여 목표 언어 번역문에서 가장 의미적이고 문법적으로 호환성이 높은 세그먼트를 탐색한다.
• 선택된 목표 언어 세그먼트가 파싱 트리에서 원본 세그먼트를 대체함으로써 원본 감성 레이블을 유지한 채로 합성된 혼합어 문장을 생성한다.
• 이 방법은 언어학적 문법이나 혼합어 규칙을 회피하며, 자동 정렬 및 유사도 메트릭을 기반으로 유창성과 통일성을 보장한다.

실험 결과

연구 질문

• RQ1 단일 언어 감성 레이블이 부여된 데이터에서 유도된 합성 혼합어 텍스트가 저자원 언어 쌍의 감성 검출 성능을 향상시킬 수 있는가?
• RQ2 합성 데이터만으로도 제한된 실제 혼합어 데이터로 학습된 모델의 성능을 동등하거나 초월할 수 있는가?
• RQ3 합성 데이터 증강이 클래스 불균형이 존재하는 상황에서 혐오 발언 검출에 어떤 영향을 미치는가?
• RQ4 합성 데이터 생성 과정에서 성능 저하를 유발하는 주요 실패 유형은 무엇인가?
• RQ5 학습 데이터와 테스트 데이터 간의 도메인 불일치가 합성 혼합어 텍스트로 학습된 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 영어-벵골어 혼합어 텍스트에서, 합성 데이터 증강은 실제 데이터로만 학습된 모델 대비 감성 검출 정확도를 7.20%p 향상시켰다.
• 영어-스페인어의 경우, 합성 데이터와 실제 데이터를 조합했을 때 정확도가 5.11%p 향상되었다.
• 영어-힌두어 감성 검출에서, 트위터에서는 1.5% 향상되었고 페이스북에서는 0.97% 향상되어 도메인 의존성이 중간 정도로 나타났다.
• 합성 데이터만으로도 EN_HI 트위터에서 실제 데이터보다 정확도가 5.04%p 낮았지만, 레이블 균형 조정 후 혐오 발언 검출에서 실제 데이터를 4%p F1 점수로 초월했다.
• 혐오 발언 검출에서 합성 데이터와 실제 데이터를 조합하면 실제 데이터만으로 학습된 모델 대비 F1 점수를 6%p 향상시켰으며, 주로 합성 데이터 세트의 클래스 불균형 감소 덕분이었다.
• 오류 분석 결과, 두 가지 주요 실패 유형이 드러났다: 혼합된 세그먼트에서 감성 극성의 충돌과, 특히 다수의 주체가 관여할 경우 약하거나 모호한 정서적 내용의 존재.