[論文レビュー] Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification

Xilun Chen, Yu Sun+3 more|arXiv (Cornell University)|Jun 6, 2016

Sentiment Analysis and Opinion Mining参考文献 38被引用数 75

ひとこと要約

本稿では、敵対的訓練を用いてリソース豊富なソース言語（例：英語）からリソースが乏しいターゲット言語（例：中国語、アラビア語）へ知識を転送する、クロスリンガルセンチメント分類モデルである敵対的ディープアベイラージングネットワーク（ADAN）を提案する。ADANは、共有の特徴抽出器を介して、センチメント分類器と言語識別器を同時に学習することで、言語に依存しない表現を学習し、ラベル付きターゲットデータが存在しない場合や高価な機械翻訳システムが不要な状況でも、最先端の性能を達成する。

ABSTRACT

In recent years great success has been achieved in sentiment classification for English, thanks in part to the availability of copious annotated resources. Unfortunately, most languages do not enjoy such an abundance of labeled data. To tackle the sentiment classification problem in low-resource languages without adequate annotated data, we propose an Adversarial Deep Averaging Network (ADAN) to transfer the knowledge learned from labeled data on a resource-rich source language to low-resource languages where only unlabeled data exists. ADAN has two discriminative branches: a sentiment classifier and an adversarial language discriminator. Both branches take input from a shared feature extractor to learn hidden representations that are simultaneously indicative for the classification task and invariant across languages. Experiments on Chinese and Arabic sentiment classification demonstrate that ADAN significantly outperforms state-of-the-art systems.

研究の動機と目的

• 十分なラベル付き学習データが不足する言語におけるリソースが乏しいセンチメント分類の課題に対処すること。
• リソース豊富なソース言語（例：英語）からリソースが乏しいターゲット言語（例：中国語、アラビア語）へセンチメント分類の知識を転送する手法を開発すること。
• クロスリンガルセンチメント分類において、高価な機械翻訳システムや大規模な並列コーパスに依存しないこと。
• 敵対的訓練による言語に依存しない表現の学習を通じて、モデルの一般化性能を向上させること。
• リソースが乏しい言語において、教師なしおよび半教師ありの両設定で、強力で効果的な性能を示すこと。

提案手法

• ADANは、ソース言語およびターゲット言語の入力から、共有の特徴抽出器を用いて深層表現を生成する。
• 2つの分類ブランチ（センチメント分類器と敵対的言語識別器）を用い、両者とも共有の特徴を入力としている。
• 言語識別器は、ソース言語とターゲット言語の入力を区別するように学習されるが、特徴抽出器は、識別器の精度を最小化するように学習され、言語に依存しない特徴を促進する。
• ADANは、ソースおよびターゲットの特徴分布間のワッサースタイン距離を最小化することで、学習の安定性と性能を向上させる。
• ADANは、バックプロパゲーションと勾配反転を用いて、センチメント分類器と敵対的識別器を共同で最適化し、エンドツーエンドに学習する。
• フレームワークは、二言語埋め込みの選択に対して頑健であり、ランダムに初期化された埋め込みでも良好な性能を発揮できる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、言語に依存しない表現を学習するために、クロスリンガルセンチメント分類に効果的に適用可能か？
• RQ2 ADANは、高価な機械翻訳システムに依存する既存の手法と比較して、リソースが乏しいセンチメント分類において優れた性能を示すか？
• RQ3 ラベル付きターゲットデータが存在しない状況下で、ADANは依然として効果的に一般化できるか？
• RQ4 限られたラベル付きターゲットデータを用いた半教師あり設定において、ADANは効果的に適応可能か？
• RQ5 ADANの性能は、使用する二言語埋め込みの質や種別に対してどれほど感受的か？

主な発見

• ADANは中国語およびアラビア語のセンチメント分類タスクにおいて、最先端のクロスリンガルセンチメント分類手法を顕著に上回る。
• ラベル付きターゲットデータが一切存在しない状況でも、単に二言語埋め込みとドメイン適応法を用いた強力なベースラインと比較して、ADANは優れた性能を発揮する。
• 高価な機械翻訳ベースのベースラインおよびXuとYang（2017）のクロスリンガル distillation 法よりもADANが優れていることから、最小限の並列データでも効果的であることが示された。
• 半教師あり設定においても、同じ量のラベル付きターゲットデータが与えられた場合、ADANはすべてのベースラインを上回る性能を示した。
• ランダムに初期化された単語埋め込みを用いても、ADANは、機械翻訳ベースおよびdistillationベースの最良のシステムを除き、すべての手法を上回る性能を維持した。
• ワッサースタイン距離の最小化により、標準的な勾配反転に基づく敵対的訓練と比較して、より滑らかな学習と優れた性能が得られた。