[論文レビュー] Projecting Embeddings for Domain Adaption: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger+1 more|arXiv (Cornell University)|Aug 1, 2018

Sentiment Analysis and Opinion Mining参考文献 27被引用数 19

ひとこと要約

本稿では、分類器の性能低下を緩和するため、感情分析におけるドメイン適応のための新規手法を提案する。この手法は、ドメイン間の整合性と感情予測を同時に最適化することで、モノドメイン埋め込みを共有のバイドメイン空間に投影する。20組のソース・ターゲットドメインペアのうち11組で最先端の性能を達成し、特に言語的・語彙的スタイルが著しく異なるドメインにおいて、従来手法に比べ顕著な優位性を示す。

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

研究の動機と目的

• 異なる言語的スタイルや語彙を持つドメイン間で感情分類器の性能が低下する問題に取り組む。
• 構造的対応学習やオートエンコーダーなどの従来手法に見られる、長時間の学習や著しく乖離度の高いドメインでの性能劣化といった制限を克服する。
• モノドメイン空間間の埋め込み投影という新たな視点からドメイン適応を定式化する。
• 共有のバイドメイン埋め込み空間において、ドメイン整合性と感情予測を同時に最適化する。
• Amazon、SemEval 2013、SemEval 2016を含む多様なベンチマークデータセットで最先端の結果を達成する。

提案手法

• モデルは、別々のモノドメイン埋め込み空間（ソースおよびターゲット）を入力として受ける。
• 両方のソースおよびターゲット埋め込みを共有のバイドメイン空間に写像するための射影行列を学習する。
• ドメインシフトの低減と感情分類の精度向上を同時に最適化するように、射影を共同で最適化する。
• 共同目的関数は、ドメイン整合性のためのコントラスト損失と、感情予測のための交差エントロピー損失を組み合わせる。
• 勾配降下法を用いてバックプロパゲーションによりエンドツーエンドで学習する。
• 言語間転送の知見を活用することで、意味的および語彙的に乖離度の高いドメイン間での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モノドメイン空間間の埋め込み投影が、著しく乖離度の高いドメインにおいて、従来のドメイン適応手法を上回る性能を発揮できるか？
• RQ2 ドメイン整合性と感情予測の共同最適化は、逐次的または独立した学習と比較して、転移性能を向上させるか？
• RQ3 SemEval 2013 や 2016 といった標準的な感情分析ベンチマークにおいて、本手法は最先端のアプローチと比較してどのように差をつけるか？
• RQ4 本モデルは、どの状況で従来手法に比べ顕著な性能向上を示すか、特にドメインの乖離度に着目して。
• RQ5 ターゲットドメインでラベル付きデータが極めて少ない状況でも、モデルは一般化性能を示せるか？

主な発見

• 提案手法は、感情分類の20組のソース・ターゲットドメインペアのうち11組で最先端の性能を達成した。
• 構造的対応学習やオートエンコーダーが困難とする著しく乖離度の高いドメインにおいて、従来手法に比べ顕著に優れた性能を示した。
• 類似したドメインにおいても、最先端の手法と同等の性能を発揮したため、ドメイン類似度の異なる状況においても安定性が確認された。
• 埋め込み投影と感情予測の共同最適化により、整合性と分類精度の両方が向上した。
• Amazon や SemEval 2013/2016 といったベンチマークデータセットにおいて、公開済みのコードを用いても強力な一般化性能を示した。
• ドメイン適応を埋め込み投影タスクとして定式化し、共同学習を実施するアプローチの有効性が結果から裏付けられた。