[論文レビュー] MEMD-ABSA: A Multi-Element Multi-Domain Dataset for Aspect-Based Sentiment Analysis

Hongjie Cai, Nan Song+8 more|arXiv (Cornell University)|Jun 29, 2023

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本稿では、5つのドメイン（Book, Clothing, Hotel, Restaurant, Laptop）をカバーし、約20,000件のレビュー文および30,000件の明示的・暗黙的アスペクト・カテゴリ・意見・センチメントの4つ組を含む、大規模かつマルチドメインのアスペクトベースセンチメント分析（ABSA）用データセットであるMEMD-ABSAを紹介する。オープンドメイン設定下での評価において、生成モデルおよび非生成モデルは、暗黙的アスペクトおよび意見抽出において顕著な性能低下を示し、この分野における継続的な課題を浮き彫りにしている。

ABSTRACT

Aspect-based sentiment analysis is a long-standing research interest in the field of opinion mining, and in recent years, researchers have gradually shifted their focus from simple ABSA subtasks to end-to-end multi-element ABSA tasks. However, the datasets currently used in the research are limited to individual elements of specific tasks, usually focusing on in-domain settings, ignoring implicit aspects and opinions, and with a small data scale. To address these issues, we propose a large-scale Multi-Element Multi-Domain dataset (MEMD) that covers the four elements across five domains, including nearly 20,000 review sentences and 30,000 quadruples annotated with explicit and implicit aspects and opinions for ABSA research. Meanwhile, we evaluate generative and non-generative baselines on multiple ABSA subtasks under the open domain setting, and the results show that open domain ABSA as well as mining implicit aspects and opinions remain ongoing challenges to be addressed. The datasets are publicly released at \url{https://github.com/NUSTM/MEMD-ABSA}.

研究の動機と目的

• 明示的および暗黙的アスペクトと意見を含む、大規模かつマルチドメインのアスペクトベースセンチメント分析（ABSA）用データセットが不足しているという問題に対処すること。
• 既存のデータセットが小規模であり、単一ドメイン（例：Restaurant, Laptop）に限定されており、しばしば暗黙のセンチメント要因を無視しているという限界を克服すること。
• ドメイン内、クロスドメイン、アウトオブドメインのシナリオを含む、オープンドメイン設定下でのABSAモデルの包括的評価を可能にすること。
• アスペクト、カテゴリ、意見、センチメントの4つ組抽出（暗黙の要素を含む）に関する標準的で高品質なアノテーションガイドラインの提供。
• 生成モデルおよび非生成モデルを、複数のサブタスクでベンチマーク化し、暗黙のアスペクトおよび意見を処理する際の継続的な課題を明らかにすること。

提案手法

• 著者らは、Book, Clothing, Hotel, Restaurant, Laptopの5つのドメインにまたがる約20,000件のレビュー文を手動でアノテートすることで、新しいデータセットMEMD-ABSAを構築した。
• 各文は、アスペクト語、アスペクトカテゴリ、意見語、センチメント極性の4要素を含み、明示的および暗黙的インスタンスを含めた。
• 一貫性と信頼性を確保するため、詳細で標準化されたガイドラインに従ってアノテーションプロセスが実施され、アノテーター間整合性が測定され、報告された。
• データセットには約30,000件の4つ組が含まれており、SemEval-2014/2016などの先行ベンチマークよりも顕著に大きい。
• 著者らは、オープンドメイン設定下でのサブタスク（ASPE, AOPE, AOS, ACS, ACOS）において、最先端の複数のモデル（例：T5-index, T5-paraphraseを含む生成モデルおよび非生成モデル）を評価した。
• モデルの汎化性と耐性を評価するために、ドメイン内、クロスドメイン、アウトオブドメインの設定で評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチドメインのデータセット（明示的および暗黙的アスペクト・意見を含む）上で学習・テストされたモデルの性能は、異なるABSAサブタスク（例：ASPE, AOPE, AOS, ACS, ACOS）においてどのように変化するか？
• RQ2 生成モデルおよび非生成モデルは、マルチエレメントABSAの文脈において、アウトオブドメイン設定にどの程度一般化できるか？
• RQ3 明示的データのみで学習したモデルと比較して、暗黙のアスペクトおよび意見の含みが、ABSAモデルの性能にどのように影響するか？
• RQ4 T5ベースのモデル（例：T5-index, T5-paraphrase）は、多様なドメインにおいてACOS4つ組抽出の面で、相対的にどのような強みと弱みを示すか？
• RQ5 MEMD-ABSAデータセットの規模と多様性は、過去のベンチマークと比較して、ABSAモデルの評価をどのように改善するか？

主な発見

• 特にACOS（アスペクト・カテゴリ・意見・センチメント4つ組）タスクにおいて、すべてのモデルの性能が暗黙の要素が含まれる場合に顕著に低下し、暗黙の要素抽出が依然として主要な課題であることを示している。
• T5-indexおよびT5-paraphraseは、全ドメインでほぼ最適な結果を達成しており、AOSタスクではT5-indexがT5-paraphraseを上回り、ACOSタスクでは類似した性能を示した。
• 明示的例でのみ学習したモデルは、明示的および暗黙的両方の例を含むデータセットで学習したモデルに比べ、一貫して低い性能を示しており、暗黙の要素検出の難しさを裏付けている。
• 大規模言語モデルの進展にもかかわらず、オープンドメインABSA、特に暗黙のアスペクトおよび意見の処理は、依然として未解決で困難な問題であることが結果から示された。
• MEMD-ABSAデータセットは、ドメインをまたいでより強固で一般化可能なABSAモデルの評価を可能にし、従来の小規模でドメイン内に限定されたベンチマークでは見えにくかった性能格差を明らかにした。