[논문 리뷰] Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification

Xilun Chen, Yu Sun외 3명|arXiv (Cornell University)|2016. 06. 06.

Sentiment Analysis and Opinion Mining참고 문헌 38인용 수 75

한 줄 요약

이 논문은 적대적 훈련을 사용하여 자원이 풍부한 소스 언어(예: 영어)에서 자원이 부족한 대상 언어(예: 중국어, 아랍어)로 지식을 전이하는 교차 언어 감성 분류 모델인 Adversarial Deep Averaging Networks (ADAN)을 제안한다. ADAN은 공유된 특징 추출기와 함께 감성 분류기와 언어 식별기(언어 구분자)를 동시에 훈련시켜 언어에 관계없이 동일한 표현을 학습하며, 레이블이 없는 대상 언어 데이터나 비용이 많이 드는 기계 번역 시스템이 없어도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years great success has been achieved in sentiment classification for English, thanks in part to the availability of copious annotated resources. Unfortunately, most languages do not enjoy such an abundance of labeled data. To tackle the sentiment classification problem in low-resource languages without adequate annotated data, we propose an Adversarial Deep Averaging Network (ADAN) to transfer the knowledge learned from labeled data on a resource-rich source language to low-resource languages where only unlabeled data exists. ADAN has two discriminative branches: a sentiment classifier and an adversarial language discriminator. Both branches take input from a shared feature extractor to learn hidden representations that are simultaneously indicative for the classification task and invariant across languages. Experiments on Chinese and Arabic sentiment classification demonstrate that ADAN significantly outperforms state-of-the-art systems.

연구 동기 및 목표

• 레이블이 충분히 없는 언어에서 저자원 감성 분류 문제를 해결하기 위해.
• 자원이 풍부한 소스 언어(예: 영어)에서 자원이 부족한 대상 언어(예: 중국어, 아랍어)로 감성 분류 지식을 전이할 수 있는 방법을 개발하기 위해.
• 교차 언어 감성 분류에서 비용이 많이 드는 기계 번역 시스템이나 대규모 평행 코퍼스에 의존하지 않도록 하기 위해.
• 적대적 훈련을 통해 언어에 관계없는 표현을 학습시켜 모델의 일반화 능력을 향상시키기 위해.
• 저자원 언어에 대해 비지도 및 준지도 설정 모두에서 강건성과 효과성을 입증하기 위해.

제안 방법

• ADAN은 소스 언어 및 대상 언어 입력으로부터 깊이 있는 표현을 생성하기 위해 공유된 특징 추출기를 사용한다.
• 감성 분류기와 적대적 언어 식별기라는 두 개의 분류 브랜치를 활용하며, 둘 다 공유된 특징에 기반해 훈련된다.
• 언어 식별기는 소스 언어와 대상 언어 입력을 구분하도록 훈련되며, 특징 추출기는 식별기의 정확도를 최소화하도록 훈련되어 언어에 관계없는 특징을 유도한다.
• 소스 및 대상 특징 분포 간의 와서르스타인 거리를 최소화함으로써 훈련의 안정성과 성능을 향상시킨다.
• ADAN은 감성 분류기와 적대적 식별기를 함께 최적화하여 엔드 투 엔드로 훈련되며, 역전파와 기울기 반전 기법을 사용한다.
• 이 프레임워크는 이중어어휘 임베딩의 선택에 대해 강건하며, 무작위로 초기화된 임베딩을 사용할 때조차도 잘 작동할 수 있다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 교차 언어 감성 분류에 효과적으로 적용되어 언어에 관계없는 표현을 학습시킬 수 있는가?
• RQ2 ADAN은 비용이 많이 드는 기계 번역 시스템에 의존하는 기존 방법들과 비교해 저자원 감성 분류에서 승리하는가?
• RQ3 레이블이 없는 대상 언어 데이터가 없을 경우 ADAN은 여전히 효과적으로 일반화되는가?
• RQ4 제한된 레이블이 있는 대상 언어 데이터를 사용한 준지도 설정에서 ADAN은 효과적으로 적응할 수 있는가?
• RQ5 ADAN의 성능은 사용된 이중어어휘 임베딩의 품질과 종류에 얼마나 민감한가?

주요 결과

• ADAN은 중국어 및 아랍어 감성 분류 작업에서 최신 기술 수준의 교차 언어 감성 분류 방법들을 크게 앞서간다.
• 레이블이 없는 대상 언어 데이터가 전혀 없더라도, 단지 이중어어휘 임베딩과 도메인 적응 방법을 사용한 강력한 베이스라인보다도 뛰어난 성능을 달성한다.
• 경쟁력 있는 기계 번역 기반 베이스라인과 Xu와 Yang(2017)의 교차 언어 정제 방법보다도 뛰어나며, 최소한의 평행 데이터로도 효과성을 입증한다.
• 준지도 설정에서 동일한 양의 레이블이 있는 대상 언어 데이터를 제공받았을 때, ADAN은 모든 베이스라인을 계속해서 능가한다.
• 무작위로 초기화된 어휘 임베딩으로도 훈련된 ADAN은 기계 번역 기반 및 정제 기반 시스템 중 가장 뛰어난 성능을 낸 것 외에는 모두 능가한다.
• 와서르스타인 거리 최소화는 표준 기울기 반전 기반의 적대적 훈련보다 더 부드러운 훈련과 더 나은 성능을 이끌어낸다.