[논문 리뷰] Zero-Shot Cross-Lingual Opinion Target Extraction

Soufian Jebbara, Philipp Cimiano|arXiv (Cornell University)|2019. 04. 19.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 7

한 줄 요약

이 논문은 다국어 단어 임베딩을 사용한 합성곱 신경망 내에서 저자원 언어에서 표적 언어 데이터 없이도 정확한 OTE 예측을 가능하게 하는 제로샷 다국어적 접근을 제안한다. 여러 소스 언어를 활용할 경우, 표적 언어 데이터로 훈련된 단일 언어 모델 성능의 최대 87%에 도달한다.

ABSTRACT

Aspect-based sentiment analysis involves the recognition of so called opinion target expressions (OTEs). To automatically extract OTEs, supervised learning algorithms are usually employed which are trained on manually annotated corpora. The creation of these corpora is labor-intensive and sufficiently large datasets are therefore usually only available for a very narrow selection of languages and domains. In this work, we address the lack of available annotated data for specific languages by proposing a zero-shot cross-lingual approach for the extraction of opinion target expressions. We leverage multilingual word embeddings that share a common vector space across various languages and incorporate these into a convolutional neural network architecture for OTE extraction. Our experiments with 5 languages give promising results: We can successfully train a model on annotated data of a source language and perform accurate prediction on a target language without ever using any annotated samples in that target language. Depending on the source and target language pairs, we reach performances in a zero-shot regime of up to 77% of a model trained on target language data. Furthermore, we can increase this performance up to 87% of a baseline model trained on target language data by performing cross-lingual learning from multiple source languages.

연구 동기 및 목표

• 저자원 언어에서 의견 표적 추출을 위한 애너테이션 데이터 부족 문제를 해결하기 위해.
• 표적 언어에서의 애너테이션 예제 없이도 소스 언어에서 훈련된 OTE 모델을 제로샷으로 전이할 수 있도록 하기 위해.
• 다양한 소스 언어를 사용할 경우 다국어 간 전이 성능에 미치는 영향을 조사하기 위해.
• 다국어 단어 임베딩이 시퀀스 레이블링 작업에 대해 제로샷 설정에서 효과적으로 작용할 수 있는지 평가하기 위해.
• 다국어 간 전이를 활용하여 저자원 언어의 애너테이션 비용을 줄이기 위해.

제안 방법

• 의견 표적 표현을 레이블링하기 위해 IOB 체계를 사용한 시퀀스 태깅 문제로 작업을 정의한다.
• 단순성과 광범위한 적용 가능성을 확보하기 위해 입력 특징을 단어 임베딩으로 제한한 다층 합성곱 신경망(CNN)을 시퀀스 태깅 모델로 사용한다.
• Smith 등(2017)과 Lample 등(2018)의 다국어 단어 임베딩을 사용하여 언어 간 단어 표현을 공통 벡터 공간에 정렬한다.
• 소스 언어의 애너테이션 데이터로 모델을 훈련하고, 표적 언어 데이터에 대한 파인튜닝 없이 직접 표적 언어에 적용한다.
• 여러 소스 언어로 훈련함으로써 일반화 능력과 다국어 간 전이 성능이 향상됨을 확인한다.
• 영어, 스페인어, 네덜란드어, 프랑스어, 터키어를 포함한 다섯 언어에서 F1 점수를 사용해 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 표적 언어에서의 애너테이션 훈련 데이터 없이도 소스 언어에서 훈련된 모델이 표적 언어에서 의견 표적 추출에 높은 성능을 달성할 수 있는가?
• RQ2 여러 소스 언어를 사용할 경우 다국어 간 전이의 제로샷 성능에 어떤 영향을 미치는가?
• RQ3 다국어 단어 임베딩이 저자원 환경에서 시퀀스 레이블링 작업에 대해 효과적인 제로샷 전이를 얼마나 잘 가능하게 하는가?
• RQ4 다국어 모델의 성능은 표적 언어 데이터로 훈련된 단일 언어 기준 모델과 비교해 어떻게 되는가?
• RQ5 표적 언어에서 소량의 애너테이션 예제를 포함시킬 경우, 필요한 애너테이션 노력이 크게 줄어들 수 있는가?

주요 결과

• 영어를 소스 언어로 사용할 경우, 스페인어에서는 F1 점수 0.50, 네덜란드어에서는 F1 점수 0.46를 기록하여 각각 단일 언어 기준 모델 성능의 74%와 77%에 해당한다.
• 여러 소스 언어를 활용함으로써 스페인어의 경우 F1 점수 0.58, 네덜란드어의 경우 F1 점수 0.53로 향상되어 단일 언어 기준 모델 성능의 85%와 87%에 도달했다.
• 소량의 표적 언어 데이터를 함께 사용할 경우, 표적 언어의 애너테이션 예제 수를 수백 개 감소시킬 수 있었다.
• 접어붙임 언어인 터키어는 다국어 간 학습에서 가장 낮은 성능 향상을 보였으며, 이는 언어적 차이가 전이 가능성에 영향을 줄 수 있음을 시사한다.
• 평가한 두 가지 다국어 임베딩 방법은 전반적으로 유사한 성능를 보였지만, 언어 쌍 간 성능에 차이가 있었다.
• 러시아어와 터키어에 대해선 최신 기술 수준 또는 경쟁 가능한 성능를 달성했으며, 기존 시스템보다 뛰어난 성능를 기록했다.