[論文レビュー] Projecting Embeddings for Domain Adaptation: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger+1 more|arXiv (Cornell University)|Jun 12, 2018

Sentiment Analysis and Opinion Mining参考文献 23被引用数 11

ひとこと要約

本稿では、文脈の異なるドメイン間での感情分析のための新しいドメイン適応手法を提案する。この手法は、二重の射影行列を用いてモノドメインの単語埋め込みを共有のバイドメイン空間に写像し、クロスドメインの整合性と感情分類を同時に最適化する。20組のドメイン適応ペアのうち11組で最先端の性能を達成し、特に書籍から映画や家電製品からキッチン用品といった顕著に異なるドメイン間で優れた性能を示す。

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

研究の動機と目的

• 新しいドメインのデータにモデルを適用した際の感情分析性能の低さという課題に対処すること。
• 構造的対応学習やオートエンコーダーといった既存のドメイン適応手法に見られる、高い学習コストや顕著に異なるドメインでの性能劣化といった制限を克服すること。
• ドメイン固有の特徴を維持しつつ、効果的なクロスドメイン移行を可能にし、従来の手法で一般的に見られる情報損失を回避すること。
• 微調整や再学習なしに、いずれのドメイン（ソースまたはターゲット）においてもゼロショットでの感情分類を可能にする手法を開発すること。
• 異なる種類の射影辞書（頻度ベース、感情ベース、相互情報量ベース）が、ドメインペア間でのモデル性能に与える影響を調査すること。

提案手法

• Word2Vecを用いて、ソースドメインおよびターゲットドメインそれぞれで別々のモノドメインskip-gram単語埋め込みを学習する。
• 二重の射影行列、すなわちM（ソースからバイドメイン）およびM'（ターゲットからバイドメイン）を学習し、双方向の整合性を実現する。
• バイドメイン表現を同時に最適化し、ソースドメインにおける感情分類損失を最小化するとともに、対照的損失を用いてソースおよびターゲットの埋め込みを整合させる。
• 共有の分類器ヘッドPを用いてバイドメイン表現上で感情を予測し、いずれのドメインでもゼロショット推論を可能にする。
• バイドメイン空間を共有表現として用い、感情分類損失とクロスドメイン整合性損失の組み合わせで学習を行う。
• 最適なピボット特徴を特定するため、複数の射影辞書（頻度ベース、感情ベース、相互情報量ベース）を評価する。

実験結果

リサーチクエスチョン

• RQ1 統合埋め込み射影フレームワークは、顕著に異なる感情分析ドメインにおいて、既存のドメイン適応手法を上回ることができるか？
• RQ2 射影によってドメイン固有の特徴を維持することで、ドメイン依存特徴を削減する手法と比較して性能が向上するか？
• RQ3 異なる種類の射影辞書（頻度ベース、感情ベース、相互情報量ベース）が、ドメインペア間でのモデル性能に与える影響は何か？
• RQ4 ターゲットドメインの射影行列M'は、ターゲットドメインへの効果的な感情移行に不可欠であるか？
• RQ5 微調整なしに、ソースドメインおよびターゲットドメインの両方でゼロショットでの感情分類に一般化可能か？

主な発見

• 提案手法は、感情分類の20組のソース・ターゲットドメインペアのうち11組で、新たな最先端性能を達成した。
• Amazonドメイン適応ベンチマークにおいて、NsclおよびmSDAを上回った。特に、書籍からDVD（ポジティブクラス：F1 26.9 vs. 34.2）のような顕著に異なるペアで顕著な性能向上を示した。
• 類似したドメイン（例：書籍からDVD）ではSOTAと同等の性能を示したが、顕著に異なるドメイン、例えばキッチン用品からSemEval 2013（ネガティブクラス：F1 23.3 vs. 70.5）では顕著に優れた性能を発揮した。
• 顕著に異なるドメインでは、頻度ベースの射影辞書が最も優れた結果をもたらしたが、感情ベースの辞書はカバー範囲が不足しているため、このようなペアでは性能が劣った。
• 相互情報量ベースの辞書は大多数のペアで良好な性能を示したが、SemEval 2013では語彙サイズが小さい（103語）ため失敗した。これは、辞書の品質に敏感であることを示している。
• アブレーションスタディの結果、ターゲットの射影行列M'が不可欠であることが確認された。M'を削除すると、ソースでの学習は可能でも、ターゲットドメインでの感情予測に失敗した。