[論文レビュー] A Hierarchical Interactive Network for Joint Span-based Aspect-Sentiment Analysis

Wei Chen, Jinglong Du+3 more|arXiv (Cornell University)|Aug 24, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、スパンベースの感情分析における要因抽出とセンチメント分類の間で双方向の特徴相互作用を可能にする、階層的インタラクティブネットワーク（HI-ASA）を提案する。浅いレベルでのクロススタッチ統合と深いレベルでの相互情報最大化を活用することで、要因抽出とセンチメント分類の間で二方向の特徴相互作用を実現する。HI-ASAは3つのベンチマークデータセットにおいて最先端の性能を達成し、センチメント分類においては従来手法を最大5.16%上回った。

ABSTRACT

Recently, some span-based methods have achieved encouraging performances for joint aspect-sentiment analysis, which first extract aspects (aspect extraction) by detecting aspect boundaries and then classify the span-level sentiments (sentiment classification). However, most existing approaches either sequentially extract task-specific features, leading to insufficient feature interactions, or they encode aspect features and sentiment features in a parallel manner, implying that feature representation in each task is largely independent of each other except for input sharing. Both of them ignore the internal correlations between the aspect extraction and sentiment classification. To solve this problem, we novelly propose a hierarchical interactive network (HI-ASA) to model two-way interactions between two tasks appropriately, where the hierarchical interactions involve two steps: shallow-level interaction and deep-level interaction. First, we utilize cross-stitch mechanism to combine the different task-specific features selectively as the input to ensure proper two-way interactions. Second, the mutual information technique is applied to mutually constrain learning between two tasks in the output layer, thus the aspect input and the sentiment input are capable of encoding features of the other task via backpropagation. Extensive experiments on three real-world datasets demonstrate HI-ASA's superiority over baselines.

研究の動機と目的

• 既存のスパンベースのモデルが要因抽出とセンチメント分類の間で双方向の相互作用をモデル化できないという限界を解決すること。
• 2つのタスク間の浅いレベルおよび深いレベルの相互作用を可能にすることで、統合的性能を向上させること。
• バックプロパゲーションを通じて、要因とセンチメントの特徴が訓練中に互いに情報を与え合うフレームワークを設計すること。
• 階層的相互作用メカニズムが複数のデータセットにわたり一貫した向上をもたらすことを実証的に検証すること。

提案手法

• エンコーディング層でクロススタッチ機構を採用し、タスク固有の特徴を選択的に統合することで、浅いレベルでの双方向相互作用を実現する。
• 出力層に相互情報最大化を導入し、タスク間の予測を制約することで、深いレベルでの相互作用を強制する。
• 共有入力埋め込みとタスク固有のヘッドを用いることで、モジュラリティを維持しながらタスク間の知識移譲を可能にする。
• ハイパーパrameter α を用いて相互作用の強度を制御し、タスク固有表現と共有表現のバランスを調整する。
• 要因抽出とセンチメント分類の目的関数を統合したジョイント損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 勾配ベースのバックプロパゲーションを適用し、センチメント特徴が要因検出をガイドし、逆に要因特徴がセンチメント分類を支援する相互監視を実現する。

実験結果

リサーチクエスチョン

• RQ1 要因抽出とセンチメント分類の間で階層的双方向相互作用を実現することで、スパンベースの要因-センチメント分析における統合的性能が向上するか？
• RQ2 エンコーディング層に導入された提案されたクロススタッチ機構は、タスク間の特徴共有にどのように影響するか？
• RQ3 出力層における相互情報最大化は、タスク間一般化性能をどの程度向上させるか？
• RQ4 データサイズが異なる複数のデータセットにおいて、相互作用強度（αで制御）の最適なバランスは何か？
• RQ5 提案手法は、逐次的および並列的エンコーディングベースラインを上回る性能を、要因抽出およびセンチメント分類の両タスクで示せるか？

主な発見

• 要因抽出において、LaptopデータセットでF1スコア85.02を達成し、以前の最良手法を3.93ポイント上回った。
• センチメント分類において、Laptopデータセットで93.18%の正答率を達成し、最も強力なベースラインであるSPRMを3.98ポイント上回った。
• アブレーションスタディの結果、浅い相互作用（w/o SI）または深い相互作用（w/o DI）を削除すると一貫した性能低下が見られ、両成分の必要性が確認された。
• LaptopおよびTweetsデータセットでは最適なハイパーパrameter α が0.1、Restaurantデータセットでは0.4であった。これは、相互作用強度がデータセットサイズに応じて調整されるべきであることを示唆している。
• α がゼロでない場合にモデルが最も優れた性能を発揮し、これは相互作用メカニズムが並列エンコーディング（α = 0）と比較して冗長ではなく有効であることを証明している。
• モデルは強力な一般化性能を示し、Laptop、Restaurant、Tweetsの3つの多様なデータセットにおいて一貫した改善を達成した。