[論文レビュー] Data Selection Strategies for Multi-Domain Sentiment Analysis

Sebastian Ruder, Parsa Ghaffari+1 more|arXiv (Cornell University)|Feb 8, 2017

Sentiment Analysis and Opinion Mining参考文献 18被引用数 9

ひとこと要約

本稿では、自己符号化器表現とサブセットレベルの選択を活用することで、ランダムおよびバランス型のベースラインを上回る、マルチドメイン感情分析のための新規データ選択戦略を提案する。代理 $π$-距離と自己符号化器に基づく類似度メトリクスが、特に大規模なレビュー・データセットにおいて顕著に性能を向上させることを示しており、サブセットレベル選択が一貫してインスタンスレベル手法を上回ることを確認した。

ABSTRACT

Domain adaptation is important in sentiment analysis as sentiment-indicating words vary between domains. Recently, multi-domain adaptation has become more pervasive, but existing approaches train on all available source domains including dissimilar ones. However, the selection of appropriate training data is as important as the choice of algorithm. We undertake -- to our knowledge for the first time -- an extensive study of domain similarity metrics in the context of sentiment analysis and propose novel representations, metrics, and a new scope for data selection. We evaluate the proposed methods on two large-scale multi-domain adaptation settings on tweets and reviews and demonstrate that they consistently outperform strong random and balanced baselines, while our proposed selection strategy outperforms instance-level selection and yields the best score on a large reviews corpus.

研究の動機と目的

• ドメインが明確でない、あるいは未知の状況においても、複数ドメインにまたがる感情分析の文脈で関連する学習データを選択する課題に対処すること。
• 異なる表現、類似度メトリクス、選択レベルがマルチドメイン適応性能に与える影響を調査すること。
• インスタンスレベル選択を上回り、ドメイン境界が曖昧な現実世界の設定でも頑健なデータ選択手法を開発すること。
• NLP実務家が感情分析における効果的なデータ選択を実施するための実用的ガイドラインを提供すること。

提案手法

• データ選択のための3つの新規表現を提案：語彙分布、単語埋め込み、自己符号化器表現。自己符号化器表現は大規模データセットで優れた性能を示した。
• 3つのドメイン類似度メトリクスを導入：ジェンセン・シャノン発散、コサイン類似度、代理 $π$-距離。後者の方が一貫して優れた性能を示した。
• 3つのデータ選択レベルを採用：ドメインレベル、インスタンスレベル、サブセットレベル。サブセットレベル選択が最も顕著な向上を示した。
• 2つの大規模データセット（ツイートと製品レビュー）を用いたマルチドメイン適応フレームワークを構築。異なるターゲットドメインにおける性能を評価した。
• 知識蒸留に基づくモデル訓練戦略を適用し、ソースドメインからの知識を活用することで汎化性能を向上させた。
• 異なる学習データ量の下で選択戦略を評価し、スケーラビリティと頑健性を検証した。

実験結果

リサーチクエスチョン

• RQ1 語彙分布、単語埋め込み、自己符号化器という異なる表現は、マルチドメイン感情分析におけるデータ選択性能にどのように影響を与えるか？
• RQ2 ジェンセン・シャノン発散、コサイン類似度、代理 $π$-距離のうち、どのドメイン類似度メトリクスが最も効果的なデータ選択を実現するか？
• RQ3 マルチドメイン感情分析において、サブセットレベルのデータ選択はインスタンスレベルやドメインレベルの選択を上回るか？
• RQ4 学習データ量やドメイン類似度の変化に伴い、データ選択の性能はどのように変化するか？
• RQ5 現実的でドメイン境界が曖昧な状況において、自動データ選択は人為ラベルドメイン選択を上回るか？

主な発見

• 自己符号化器表現は、語彙分布や単語埋め込みを著しく上回り、特に大規模なレビュー・データセットにおいて、より洗練された意味的モデリングの恩恵を受ける。
• サブセットレベル選択は一貫してインスタンスレベル選択を上回り、特に訓練データ量が増加するにつれて LiveJournal2014 ドメインで最大の向上を示した。
• 代理 $π$-距離は、分類器の信頼度がドメイン適合性の強力な代理指標であることを示唆しており、従来のメトリクスを一貫して上回った。
• レビュー・コーパスにおいて、提案手法の自己符号化器ベースのサブセットレベル選択が最高の正解率を達成し、すべてのベースラインおよび先行手法を上回った。
• ノイズの多いソーシャルメディアデータ（ツイート）では単語埋め込みが性能を発揮しなかったことから、低リソースまたはノイズの多いドメインではその有用性が限られることが示唆された。
• ドメインが明確に分離できない状況でも本手法は有効であることが確認され、現実的で曖昧な設定における実用性が裏付けられた。