[논문 리뷰] I Wish I Would Have Loved This One, But I Didn't -- A Multilingual Dataset for Counterfactual Detection in Product Reviews

James O’Neill, Polina Rozenshtein외 3명|arXiv (Cornell University)|2021. 04. 14.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 영어, 독어, 일본어로 작성된 아마존 제품 리뷰에서 문장 수준로 애너테이션된 다국어 역설적 탐지(CFD) 데이터셋을 처음으로 소개한다. 문맥 기반 모델인 XLM-RoBERTa와 같은 모델이 촉진어 문구에 의한 선택 편향에 강건한 반면, 기계 번역은 다국어 성능을 유지하지 못함을 시사하며, 언어별 데이터셋이 필요하다는 점을 강조한다.

ABSTRACT

Counterfactual statements describe events that did not or cannot take place. We consider the problem of counterfactual detection (CFD) in product reviews. For this purpose, we annotate a multilingual CFD dataset from Amazon product reviews covering counterfactual statements written in English, German, and Japanese languages. The dataset is unique as it contains counterfactuals in multiple languages, covers a new application area of e-commerce reviews, and provides high quality professional annotations. We train CFD models using different text representation methods and classifiers. We find that these models are robust against the selectional biases introduced due to cue phrase-based sentence selection. Moreover, our CFD dataset is compatible with prior datasets and can be merged to learn accurate CFD models. Applying machine translation on English counterfactual examples to create multilingual data performs poorly, demonstrating the language-specificity of this problem, which has been ignored so far.

연구 동기 및 목표

• 비영어권 언어 및 전자상거래와 같은 신규 분야에서 다국어 고품질 CFD 데이터셋의 부족을 해결하기 위해.
• CFD 모델이 촉진어 기반 문장 선택에 의해 유도되는 선택 편향에 강건한지 조사하기 위해.
• 기계 번역을 활용해 다국어 CFD 데이터를 생성하는 데 효과적인지 평가하기 위해.
• 다양한 텍스트 표현 방법 및 분류기의 성능을 다국어 CFD 작업에서 비교하기 위해.
• 미리 학습된 모델 내의 사회적 편향이 후속 CFD 작업에 미치는 영향을 평가하기 위해.

제안 방법

• 영어, 독어, 일본어를 포함한 아마존 제품 리뷰에서 다국어 CFD 데이터셋을 전문가 인력의 문장 수준 애너테이션으로 구성했다.
• 애너테이션 효율을 높이기 위해 촉진어 문구(예: 'would have', 'if only')를 사용해 후보 문장을 선별한 후, 정확도를 확보하기 위해 인간 검증을 실시했다.
• 여러 가지 텍스트 표현 방법을 사용해 이진 분류기 학습: bag-of-words (BoN), 워드 임베딩, 문맥 기반 마스킹 언어 모델(예: BERT, XLM-RoBERTa).
• 선택 편향을 시뮬레이션하기 위해 훈련 및 추론 중 촉진어 문구를 마스킹함으로써 모델의 강건성 평가.
• 일반화 능력을 테스트하기 위해 촉진어 문구가 없는 의미적으로 유사한 문장을 영어 데이터셋에 추가했다.
• 특히 기계 번역을 통한 다국어 전이가 효과적으로 작동하는지 여부를 평가하기 위해 언어 간 성능 비교.

실험 결과

연구 질문

• RQ1 훈련 중 촉진어 문구가 마스킹될 경우 CFD 모델의 성능가 어떻게 변하는가? 이는 선택 편향에 대한 강건성 여부를 나타낸다.
• RQ2 기계 번역을 통해 다국어 CFD 데이터셋을 효과적으로 생성할 수 있는가, 아니면 언어별로 별도의 애너테이션 작업이 필수적인가?
• RQ3 BoN, 워드 임베딩, 또는 문맥 기반 트랜스포머 중 어떤 텍스트 표현 방법이 언어 간으로 가장 강건한 CFD 모델을 만들어내는가?
• RQ4 일본어의 토크나이제이션 방식의 차이로 인해 CFD 모델의 성능이 언어 간으로 유의미하게 다를 수 있는가?
• RQ5 미리 학습된 언어 모델 내의 사회적 편향이 제품 리뷰 기반 CFD 모델에 얼마나 영향을 미치는가?

주요 결과

• XLM-RoBERTa와 같은 트랜스포머 기반 모델은 기존 BoN 기반 모델보다 촉진어 문구 마스킹에 훨씬 더 강건하여 어휘적 단서에 의존도가 낮아진다.
• 일본어 데이터셋에서는 BoN 특징을 사용한 SVM 모델이 가장 높은 성능를 보였으며, 이는 언어별 토크나이제이션이 서브워드 토크나이제이션(BPE 등)보다 일본어에 더 효과적임을 시사한다.
• 모든 모델에서 촉진어 문구가 마스킹될 경우 성능 저하가 발생했지만, 문맥 기반 모델에서 저하 폭이 가장 작았으며, 이는 그들의 의미적 강건성을 확인한다.
• 영어 데이터셋은 SemEval-2020 CFD 데이터셋과 호환되어 병합된 데이터로 모델을 훈련시킬 수 있으며, 이로 인해 정확도 향상이 가능하다.
• 영어의 역설적 문장을 다른 언어로 기계 번역한 결과, 다국어 분류 성능이 열악했으며, 이는 역설적 표현이 언어별로 고유함을 입증한다.
• XLM-RoBERTa와 같은 문맥 기반 임베딩은 적은 양의 레이블 데이터로도 높은 성능를 유지하며 빠르게 수렴함을 확인하여 다양한 역설적 패턴에 대한 강력한 일반화 능력을 보였다.