[論文レビュー] Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification

Yuebing Zhang, Duoqian Miao+1 more|arXiv (Cornell University)|Mar 27, 2019

Sentiment Analysis and Opinion Mining参考文献 6被引用数 8

ひとこと要約

本稿では、ドメイン不変の感情特徴表現を学習するための、生成的対抗ネットワークを用いた階層的アテンションネットワーク（HAGAN）を提案する。GANベースのフレームワークにより、ドメインに依存しない感情判別可能な文書表現を学習する。双方向GRUと階層的アテンション、敵対的学習を組み合わせることで、ソースドメインとターゲットドメインの表現を効果的に統合し、アマゾンレビューのデータセットにおいて最先端の性能を達成するとともに、ドメイン間での一般化性能が向上する。

ABSTRACT

Cross-domain sentiment classification (CDSC) is an importance task in domain adaptation and sentiment classification. Due to the domain discrepancy, a sentiment classifier trained on source domain data may not works well on target domain data. In recent years, many researchers have used deep neural network models for cross-domain sentiment classification task, many of which use Gradient Reversal Layer (GRL) to design an adversarial network structure to train a domain-shared sentiment classifier. Different from those methods, we proposed Hierarchical Attention Generative Adversarial Networks (HAGAN) which alternately trains a generator and a discriminator in order to produce a document representation which is sentiment-distinguishable but domain-indistinguishable. Besides, the HAGAN model applies Bidirectional Gated Recurrent Unit (Bi-GRU) to encode the contextual information of a word and a sentence into the document representation. In addition, the HAGAN model use hierarchical attention mechanism to optimize the document representation and automatically capture the pivots and non-pivots. The experiments on Amazon review dataset show the effectiveness of HAGAN.

研究の動機と目的

• ドメイン間で感情パターンの差が顕著に現れるクロスドメイン感情分類（CDSC）におけるドメイン差を解消すること。
• 手動によるピボット選択に依存せずに、ソースドメインとターゲットドメインの両方で共通の感情判別可能な表現を学習する深層学習モデルの開発。
• 勾配反転層（GRL）に依存する従来手法の限界を克服し、エンドツーエンドの敵対的学習が可能な生成的対抗ネットワーク（GAN）フレームワークを導入すること。
• 階層的アテンション機構を用いて、感情に関連するピボット（両ドメインで有効な語）と非ピボット（ドメイン特有の語）を自動的に特定・強調すること。
• 生成器と識別器の能力バランスを最適化することで、モード崩壊を回避し、特徴の整合性を確保し、モデルの一般化性能を向上させること。

提案手法

• HAGANは、生成器と識別器を交互に学習するGANアーキテクチャを採用し、感情判別可能ではあるがドメイン判別不能な文書表現を生成する。
• 生成器は2層の双方向GRU（Bi-GRU）を用い、語レベルおよび文レベルの文脈情報を階層的な文書表現に変換する。
• 階層的アテンション機構を適用し、重要語や重要文を動的に重み付けすることで、感情関連ピボットとドメイン特有の非ピボットを自動的に特定可能にする。
• 識別器は二重のタスクを実行する：感情分類とドメイン分類。これにより、生成器はドメイン分類器を欺くが、同時に感情の違いを保持する表現を生成する必要が生じる。
• 文書表現のドメイン間整合性を高めるために、感情分類損失、ドメイン分類損失、敵対的目的を組み合わせたマルチタスク損失関数を用いてモデルを学習する。
• 学習プロセスでは、生成器（ドメイン分類損失を最小化しつつ感情分類精度を維持）と識別器（感情分類とドメイン分類の両方の性能を最大化）を交互に最適化する。

実験結果

リサーチクエスチョン

• RQ1 GRLに依存せず、GANベースのフレームワークが、ドメイン不変の感情判別可能な表現を効果的に学習できるか。
• RQ2 階層的アテンション機構が、ドメイン間で感情関連ピボットと非ピボットを自動的に特定・強調できるか。
• RQ3 Bi-GRUによる符号化と敵対的学習の組み合わせが、学習された文書表現におけるドメイン差を低減できるか。
• RQ4 HAGANの性能は、DANN、SCL、SFAといった従来手法と比較して、ドメインシフトに伴う精度と頑健性において優れているか。
• RQ5 生成器と識別器の能力バランスが、CDSCにおけるモデルの収束性と性能に与える影響は何か。

主な発見

• t-SNE可視化により、HAGANはドメイン差を顕著に低減していることが示され、ソースドメインとターゲットドメインのデータ分布がほとんど区別できなくなる。
• HAGANは、複数のクロスドメイン感情分類タスク（例：B→E、E→B）において、アマゾンレビューデータセットで最先端の性能を達成し、HAN や DANN といったベースラインモデルを上回っている。
• 階層的アテンション機構により、両ドメインに共通する感情ピボット（例：'excellent'、'good'、'amazing'）を効果的に特定し、文書特有の非ピボット（例：書籍分野の 'readable' や電子機器分野の 'pixelated'）は低減している。
• 生成器にCNNを採用したHAGAN-Cは、元のHAGANを上回る性能を示しており、識別器の強化が性能向上に寄与していることが示唆される。
• アブレーションスタディにより、感情分類とドメイン分類という二重の目的を持つ敵対的学習が、ドメイン不変の表現学習に不可欠であることが確認された。
• モデルはドメインシフトに対して頑健であり、ターゲットドメインデータが完全にラベルなしであっても高い精度を維持しており、ゼロショットまたは少数ショットの適応状況でも有効であることが実証された。