[論文レビュー] UnifiedABSA: A Unified ABSA Framework Based on Multi-task Instruction Tuning

Zengzhi Wang, Rui Xia+1 more|arXiv (Cornell University)|Nov 20, 2022

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

UnifiedABSA は、マルチタスク・インstructチューニングを用いて、11種類の多様な ABSA タスクをタスク固有の自然言語インストラクションでモデル化する統合フレームワークを提案する。少量のラベル付きデータで優れた性能を達成し、タスク固有のモデルと比較して90%少ないストレージを必要とし、低リソース環境では平均で5% F1スコアが向上する。

ABSTRACT

Aspect-Based Sentiment Analysis (ABSA) aims to provide fine-grained aspect-level sentiment information. There are many ABSA tasks, and the current dominant paradigm is to train task-specific models for each task. However, application scenarios of ABSA tasks are often diverse. This solution usually requires a large amount of labeled data from each task to perform excellently. These dedicated models are separately trained and separately predicted, ignoring the relationship between tasks. To tackle these issues, we present UnifiedABSA, a general-purpose ABSA framework based on multi-task instruction tuning, which can uniformly model various tasks and capture the inter-task dependency with multi-task learning. Extensive experiments on two benchmark datasets show that UnifiedABSA can significantly outperform dedicated models on 11 ABSA tasks and show its superiority in terms of data efficiency.

研究の動機と目的

• 各タスクごとに大量のラベル付きデータを必要とするタスク固有のABSAモデルにおける非効率性と知識共有の欠如を是正すること。
• マルチタスク学習とインstructチューニングを用いて、複数のアスペクトベースのセンチメント分析タスクを1つの汎用フレームワークに統合すること。
• ACOSQEタスクのラベル付けのみからすべての11のABSAタスクを導出することで、ラベル付けとトレーニングのオーバーヘッドを削減し、データ効率を向上させること。
• 11個の別個のモデルの代わりに1つの統合モデルを採用することで、ストレージコストを削減し、スケーラブルなデプロイメントを可能にすること。
• 1つの統合モデルが、フルラベル付き設定および低リソース設定の両方で、専用モデルを上回ることを実証すること。

提案手法

• T5 や BART などの事前学習済み言語モデルを用いて、すべてのABSAタスクを条件付きのテキスト・トゥ・テキスト生成問題として定式化する。
• 定型テンプレートに従った構造化出力を生成するようにモデルを誘導するため、タスク固有のプロンプトとして統合センチメントインストラクション（USI）を設計する。
• ACOSQEラベル付きデータ上で1つのモデルをトレーニングし、タスク固有のファインチューニングを回避するインストラクションベースのプロンプトによって、すべての11のABSAタスクをサポートする。
• タスク間の依存関係を捉え、関連するタスク間での一般化性能を向上させるためにマルチタスク学習を採用する。
• アーキテクチャの変更なしに、1つのモデルアーキテクチャで全タスクを処理可能であり、新しいタスクへのスケーラビリティを実現する。
• 自然言語インストラクションの意味的豊かさを活用し、低リソース状況におけるゼロショットおよびフェイシング性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、タスク固有のモデルと同等またはそれ以上の性能で11種類の多様なABSAタスクを効果的に処理できるか。
• RQ2 インストラクションチューニングは、低リソースABSA環境におけるデータ効率をどの程度向上させるか。
• RQ3 ストレージ効率とモデルスケーラビリティの観点から、統合フレームワークは専用モデルと比べてどの程度優れているか。
• RQ4 マルチタスク学習によるタスク間依存関係の捉え込みが、すべてのタスクでパフォーマンス向上をもたらすか。
• RQ5 ACOSQEデータのみでトレーニングされたモデルが、他のすべてのABSAタスクに高い精度で一般化できるか。

主な発見

• 2つのベンチマークデータセット上で、11のABSAタスクのフルラベル付き設定において、UnifiedABSAは専用モデルを平均1〜2% F1スコア向上させた。
• 32件のトレーニング例しか利用できない低リソース環境において、UnifiedABSAはタスク固有のモデルを平均5% F1スコア向上させた。
• UnifiedABSAは、トレーニングデータを半分に抑えた状態でも、専用モデルと同等のパフォーマンスを達成しており、優れたデータ効率性を示している。
• 11個の別個のタスク固有モデルをトレーニングするのと比較して、ストレージ要件を90%以上削減しており、非常にスケーラブルである。
• ACOSQEデータでのみトレーニングされたにもかかわらず、UnifiedABSAはすべてのデータセットおよびデータ環境で、専用のACOSQEモデルを一貫して上回った。
• フルラベル付きおよび低リソースの両状況で一貫した優位性を示しており、モデルの頑健性と一般化能力が検証された。