[논문 리뷰] X-Stance: A Multilingual Multi-Target Dataset for Stance Detection

Jannis Vamvas, Rico Sennrich|arXiv (Cornell University)|2020. 03. 18.

Topic Modeling참고 문헌 14인용 수 46

한 줄 요약

이 논문은 스위스 선거 코멘트(독일어, 프랑스어, 이탈리아어)에서 구성된 대규모 다국어 스탠스 데이터셋인 x-stance를 제시하고, 질문-답변 형식을 통해 교차 언어 및 교차 대상 스탠스 탐지를 가능하게 하며, Multilingual BERT를 활용한 베이스라인은 부분적인 제로샷 전달 및 강한 동일언어 성능을 보여 준다.

ABSTRACT

We extract a large-scale stance detection dataset from comments written by candidates of elections in Switzerland. The dataset consists of German, French and Italian text, allowing for a cross-lingual evaluation of stance detection. It contains 67 000 comments on more than 150 political issues (targets). Unlike stance detection models that have specific target issues, we use the dataset to train a single model on all the issues. To make learning across targets possible, we prepend to each instance a natural question that represents the target (e.g. "Do you support X?"). Baseline results from multilingual BERT show that zero-shot cross-lingual and cross-target transfer of stance detection is moderately successful with this approach.

연구 동기 및 목표

• 다양한 대상과 주제를 포괄하는 대규모 다국어 스탠스 탐지 데이터셋을 만들어 교차 언어 및 교차 대상 평가를 가능하게 한다.
• 정치를 다루는 이슈에 대한 질문을 대상의 자연스러운 언어 표현으로 활용하여 질문을 변환한다.
• 제로샷 교차 언어 및 교차 대상 전달을 평가하기 위한 표준화된 학습/검증/테스트 분할을 제공한다.
• 강력한 베이스라인을 수립하고 스탠스 분류에서 질문 대 코멘트 중 어느 텍스트 구간의 중요성을 분석한다.]
• method_narrative_ko_placeholder

제안 방법

• 스위스 정치 질문과 Smartvote의 후보 코멘트를 짝지어 x-stance를 구성하고 다중 라벨 예/아니오 응답을 이진 스탠스 라벨(찬성/반대)로 변환한다.
• 품질 필터링 및 언어 자동 탐지기로 코멘트를 언어 주석 처리; 영어 제거, 짧거나 URL이 포함된 코멘트 제거.
• 질문을 세그먼트 A, 코멘트를 세그먼트 B로 간주하는 시퀀스-페어 분류기로 다국어 BERT 모델을 스탠스 탐지를 위해 미세조정하고 학습 중 클래스 균형을 맞춘다.
• 글로벌/대상별 다수결 베이스라인 및 fastText BoW 분류기 등을 포함한 베이스라인을 비교하고 감독 학습 및 교차 언어/교차 대상 설정에서 평가한다.
• 수평/수직 언어 일관성, 단일 세그먼트 분석(오로지 코멘트 또는 오로지 질문), 대상 임베딩 대 자연어 대상의 변형을 탐구한다.]
• research_questions_ko_placeholder

실험 결과

연구 질문

• RQ1 하나의 모델이 질문-답변 형식을 사용하여 여러 대상과 여러 언어에 걸친 스탠스 탐지를 얼마나 잘 학습할 수 있는가?
• RQ2 독일어와 프랑스어로 학습된 모델이 이탈리아어에서 제로샷 교차 언어 전달 성능은 어떠한가?
• RQ3 교차 대상 전달(주제 내/보지 못한 주제 간)이 감독 학습된 동일언어 성능과 어떻게 비교되는가?
• RQ4 질문과 코멘트를 모두 사용하는 경우와 단일 세그먼트만 사용하는 경우의 스탠스 탐지 정확도 차이는?
• RQ5 자연어 질문을 사용해 대상 표현을 구성하는 것이 대상 임베딩에 비해 성능에 얼마나 중요한가?

주요 결과

• 다국어 BERT가 베이스라인보다 높은 정확도를 달성하고, 이탈리아어에 대한 교차 언어 제로샷 전달이 대상별 베이스라인을 넘어서는 경우가 있다.
• 교차 언어 및 교차 대상 성능은 감독된 동일언어 성능에 비해 떨어지지만, M-BERT는 모든 설정에서 가장 강력한 베이스라인으로 남아 있다.
• 질문과 코멘트 두 가지 세그먼트를 모두 사용하는 것이 중요하며, 어느 한 세그먼트를 제거하면 특히 질문이 누락될 때 성능이 저하된다.
• 자연어 질문으로 대상을 표현하는 것이 대상 임베딩보다 감독 학습 및 교차 언어 설정에서 우수하며, 질문의 언어적 단서가 스탠스 탐지에 도움을 준다.
• 이탈리아어에 대한 교차 언어 제로샷 점수는 대상별 베이스라인보다 현저히 높아 이 데이터셋에 대한 교차 언어 전달이 가능함을 보여준다.]
• table_headers_ko_placeholder
• table_rows_ko_placeholder