[論文レビュー] Generative Aspect-Based Sentiment Analysis with Contrastive Learning and Expressive Structure

Joseph J. Peper, Lu Wang|arXiv (Cornell University)|Nov 14, 2022

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、教師付き対照学習目的（GEN-SCL）と自然で構造化された生成形式（GEN-NAT）を組み合わせることで、ACOS四重項抽出を改善する新しいアプローチ、GEN-SCL-NATを提案する。GEN-SCLは、特に暗黙の表現についても、感情極性、アスペクト、意見タイプのモデル表現を向上させる。GEN-NATは、人間が読みやすいカテゴリ記述、スキャンベースの順序付け、因果的四重項フォーマットを通じて、自己回帰的デコードを改善する。本手法は最先端性能を達成し、LAPTOP-L1で1.73% F1向上を達成し、3つのデータセット全体で平均1.48% F1向上を示す。特に暗黙の感情表現において顕著な向上が見られた。

ABSTRACT

Generative models have demonstrated impressive results on Aspect-based Sentiment Analysis (ABSA) tasks, particularly for the emerging task of extracting Aspect-Category-Opinion-Sentiment (ACOS) quadruples. However, these models struggle with implicit sentiment expressions, which are commonly observed in opinionated content such as online reviews. In this work, we introduce GEN-SCL-NAT, which consists of two techniques for improved structured generation for ACOS quadruple extraction. First, we propose GEN-SCL, a supervised contrastive learning objective that aids quadruple prediction by encouraging the model to produce input representations that are discriminable across key input attributes, such as sentiment polarity and the existence of implicit opinions and aspects. Second, we introduce GEN-NAT, a new structured generation format that better adapts autoregressive encoder-decoder models to extract quadruples in a generative fashion. Experimental results show that GEN-SCL-NAT achieves top performance across three ACOS datasets, averaging 1.48% F1 improvement, with a maximum 1.73% increase on the LAPTOP-L1 dataset. Additionally, we see significant gains on implicit aspect and opinion splits that have been shown as challenging for existing ACOS approaches.

研究の動機と目的

• 現在の生成モデルが困難としている、感情ベースのセンチメント分析（ABSA）における暗黙の感情表現の課題に対処すること。
• エンコーダ・デコーダモデルの自己回帰的デコードプロセスと整合性を持つように、ACOS四重項抽出における構造化生成を改善すること。
• 特に暗黙のケースに注目して、感情極性、アスペクトタイプ、意見タイプといったACOSの主要特徴のモデル表現を強化すること。
• 生成品質と複数四重項シナリオにおける一貫性を向上させるために、より自然で解釈可能な出力フォーマットを開発すること。

提案手法

• 感情極性、アスペクト語のタイプ、意見語のタイプという3つの主要入力特徴に対して、区別可能な表現を生成するよう訓練する教師付き対照学習目的であるGEN-SCLを導入する。
• 各特徴について、平均プールドエンコーダ最終隠れ状態を全結合層を用いて1024次元の表現に射影し、同じラベルの例同士の類似度を最大化し、異なるラベルの例同士の類似度を最小化する対照損失を適用する。
• 自然な記述、複数四重項のスキャンベース順序付け、各四重項内での要因的流れを反映した再順序付けを組み合わせた、新しい構造化生成フォーマットであるGEN-NATを提案する。
• GEN-SCLとGEN-NATを統合した訓練目的として統合し、T5ベースのモデルを用いてエンドツーエンドのACOS四重項生成を微調整する。
• 温度スケーリングを施した対照損失の定式化を用いて表現学習を最適化し、ミニバッチ内での正例対と負例対を対象に損失関数を定義する。
• t-SNE可視化を用いて、GEN-SCLが3つの主要特徴の隠れ空間において、より分離可能で区別可能な表現を生み出すことを示す。

実験結果

リサーチクエスチョン

• RQ1 教師付き対照学習目的が、感情極性、アスペクトタイプ、意見タイプといったACOSの主要特徴の表現学習を向上させることができるか？
• RQ2 より自然で構造化された生成ターゲットフォーマットに再定式化することで、自己回帰的モデルのACOS四重項抽出性能が向上するか？
• RQ3 GEN-NATの各構成要素（自然なカテゴリ記述、スキャンベースの順序付け、四重項内因果的順序付け）が、性能向上にどの程度寄与しているか？
• RQ4 本手法は、既存のABSAモデルが困難としている暗黙の感情表現に対して、どの程度効果的か？
• RQ5 GEN-SCLとGEN-NATのコンポーネントは相乗効果を示すのか、それとも独立して利点をもたらすのか？

主な発見

• GEN-SCL-NATはLAPTOP-L1データセットで1.73% F1向上を達成し、評価された3つのデータセットの中で最大の向上を示した。
• REST、LAPTOP、LAPTOP-L1の3つのデータセット全体で、先行最先端手法と比較して平均1.48% F1向上を達成した。
• 暗黙のアスペクトおよび意見サブセットでは平均1.47% F1向上が確認され、特に困難なケースに対しても有効であることが示された。
• アブレーションスタディの結果、意見関連のSCL損失が最も影響力が大きく、その除去による平均F1低下は1.03%であった。次にアスペクトおよび感情SCLコンポーネントが続く。
• GEN-NATのスキャンベースのマルチ四重項順序付けが、個別に最も大きな影響を及ぼしており、特に四重項平均数が多いRESTデータセット（62.62 → 59.92 F1）で顕著であった。
• 完全なGEN-SCL-NATモデルでは、GEN-NATとGEN-SCLの両コンポーネントが補完的かつ相乗的に作用しており、全体の性能向上に寄与していることが示された。