[論文レビュー] Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning

Zheng Li, Xin Li+4 more|arXiv (Cornell University)|Oct 30, 2019

Sentiment Analysis and Opinion Mining被引用数 24

ひとこと要約

本稿では、エンドツーエンドのアスペクトベースセンチメント分析（E2E-ABSA）における教師なしドメイン適応のための、新たな選択的対抗的学習（SAL）手法を提案する。この手法は、外部の言語資源に依存せずに、ソースドメインとターゲットドメインの間で細分化された単語レベルのアライメントを可能にする。対抗的学習により重要語のアライメント重みを動的に学習することで、転送性が著しく向上し、4つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Joint extraction of aspects and sentiments can be effectively formulated as a sequence labeling problem. However, such formulation hinders the effectiveness of supervised methods due to the lack of annotated sequence data in many domains. To address this issue, we firstly explore an unsupervised domain adaptation setting for this task. Prior work can only use common syntactic relations between aspect and opinion words to bridge the domain gaps, which highly relies on external linguistic resources. To resolve it, we propose a novel Selective Adversarial Learning (SAL) method to align the inferred correlation vectors that automatically capture their latent relations. The SAL method can dynamically learn an alignment weight for each word such that more important words can possess higher alignment weights to achieve fine-grained (word-level) adaptation. Empirically, extensive experiments demonstrate the effectiveness of the proposed SAL method.

研究の動機と目的

• 新ドメインにおけるアノテート済みデータの不足に起因する低リソースでクロスドメインのE2E-ABSAに取り組む。
• ドメインアライメントに固定の文法的ルールや外部パーサーに依存する従来手法の限界を克服する。
• より情報量の多い語のための動的アライメント重みを学習することで、細分化された単語レベルのドメイン適応を実現する。
• ターゲットドメインにラベル付きデータを必要とせずに、より優れた転送性能を達成する手法を開発する。
• 序列ラベル付けタスクにおける対抗的ドメイン適応の文脈で、選択的アライメントの必要性と有効性を実証する。

提案手法

• 局所的・グローバルなアスペクトおよび意見語のメモリを用いて、アスペクト語と意見語の間の潜在的相関を自動的に推定するためのマルチホップデュアルメモリインタラクション（DMI）機構を提案する。
• 各単語のための動的アライメント重みを学習する選択的対抗的学習（SAL）フレームワークを設計し、ドメインアライメントの際、重要な語を優先する。
• 対抗的学習を用いてソースドメインとターゲットドメインの特徴表現をアライメントし、アライメント重みを単語レベルの重要性を示す学習可能なセレクタとして機能させる。
• DMIとSALのコンponentsを統合したエンドツーエンドモデルを構築し、統一タギング方式の下で、同時にアスペクト検出とセンチメント分類を実行する。
• ソースドメインにおける教師あり損失とターゲットドメインにおける対抗的ドメイン適応損失の組み合わせを用いてモデルを訓練する。
• アテンションメカニズムを活用し、SALがアスペクト語に的を射ていることを可視化・検証することで、アライメントと予測精度の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応をエンドツーエンドのアスペクトベースセンチメント分析に効果的に適用することで、新ドメインにおけるラベル付きデータへの依存を低減できるか？
• RQ2 外部の言語資源や固定の文法的ルールに依存せずに、単語レベルでのドメインアライメントをどのように改善できるか？
• RQ3 個々の単語に対してアライメント重みを動的に学習することで、一様な対抗的アライメントよりも優れた転送性能が得られるか？
• RQ4 選択的アライメントは、無情報な語に起因するノイズをどの程度低減できるか？
• RQ5 提案手法は多様なドメインに一般化可能であり、既存の最先端手法を上回る性能を示せるか？

主な発見

• 提案手法であるSALは、4つのベンチマークデータセットにおいて、最先端の細分化された適応手法を大きく上回り、優れた転送性を示した。
• アブレーションスタディにより、選択的アライメントが性能向上に著しく寄与することが確認され、動的重みなしのモデルは無情報語に起因するノイズの影響を受けることが分かった。
• アテンション重みの可視化により、AD-SALはターゲットドメインで完全なアスペクト語（例：'bluetooth device'、'usb device'）に正しく注目しているのに対し、一様なアライメントを採用するモデルはそうではないことが明らかになった。
• DMI機構は、外部の言語ツールを必要とせずに、アスペクト語と意見語の間の潜在的相関を効果的に捉えている。
• 完全なモデル（AD-SAL）は、すべてのアスペクト語を正確に特定し、正しい統一タグ予測を実行するが、一様な対抗的学習を採用するベースラインモデルは、完全なアスペクトフレーズに注目できない。
• ターゲットドメインにラベル付きデータが一切ない状況でも、強力な性能を発揮しており、E2E-ABSAにおける教師なしドメイン適応の有効性を裏付けた。