[論文レビュー] Survey of Aspect-based Sentiment Analysis Datasets

Siva Uday Sampreeth Chebolu, Franck Dernoncourt+2 more|arXiv (Cornell University)|Apr 11, 2022

Sentiment Analysis and Opinion Mining被引用数 8

ひとこと要約

本調査は、25以上のドメインおよび98の言語をカバーする、98の公開可能な感情分析ベースの側面（ABSA）データセットを収集・分析し、サブタスク、アノテーションの実践、データセットの特性について包括的な概要を提供する。意見フレーズのアノテーションおよびレビュー単位のABSAにおける主な課題を特定し、標準化され、多様性があり、多言語に対応したデータセットの構築を提唱するとともに、評価の公平性とモデルの頑健性を向上させるためのコミュニティ主導のプラットフォームの構築を提案する。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a natural language processing problem that requires analyzing user-generated reviews to determine: a) The target entity being reviewed, b) The high-level aspect to which it belongs, and c) The sentiment expressed toward the targets and the aspects. Numerous yet scattered corpora for ABSA make it difficult for researchers to identify corpora best suited for a specific ABSA subtask quickly. This study aims to present a database of corpora that can be used to train and assess autonomous ABSA systems. Additionally, we provide an overview of the major corpora for ABSA and its subtasks and highlight several features that researchers should consider when selecting a corpus. Finally, we discuss the advantages and disadvantages of current collection approaches and make recommendations for future corpora creation. This survey examines 65 publicly available ABSA datasets covering over 25 domains, including 45 English and 20 other languages datasets.

研究の動機と目的

• モデルのトレーニングと評価を妨げる散在的かつ一貫性のないABSAデータセットの課題に対処すること。
• 研究者が利用可能なABSAデータセットを一元管理し、検索可能で拡張可能なデータベースを提供すること。
• 既存のデータ収集アプローチの強みと限界を分析し、今後のデータセット作成をガイドすること。
• 意見フレーズのアノテーションの重要性と、より包括的な感情理解を実現するためのレビュー単位のABSAへの移行の意義を強調すること。
• 標準化、多言語カバレッジ、強固なアノテーター間一致性の向上を提唱し、モデルの汎化性能と評価の公平性を高めること。

提案手法

• 多様なドメインと言語から、98の公開可能なABSAデータセットの体系的レビューとキュレーション。
• サブタスク、アノテーション形式、側面の粒度（用語対カテゴリ）、感情極性ラベル付けに基づくデータセットの分類。
• 12のサブタスク（例：側面用語抽出（ATE）、側面カテゴリ分類（ACC）、ターゲット感情検出（TSD）、意見フレーズ抽出（AOPE）、およびASTE や ASQP などの統合タスク）におけるデータセットのパフォーマンス評価。
• 低レベルのタスク（例：TSD、ASD）と高レベルの統合タスク（例：ASQP）のパフォーマンスの差異を分析し、三つ組みの統合におけるボトルネックを同定。
• 継続的なデータセットの寄付と更新を可能にする、ライブでコミュニティメンテナンス型のウェブサイト（https://github.com/RiTUAL-UH/ABSA-Datasets-Info）の構築。
• SemEval-2014、SemEval-2015、ACOS、rest_acos などの定量的ベンチマーク比較を通じて、タスクの複雑さとモデルの汎化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 特定のサブタスク（例：側面用語抽出や意見フレーズの特定）のモデルトレーニングや評価に適したABSAデータセットはどれか？
• RQ2 パフォーマンス指標は異なるサブタスク間でどのように変動するのか。また、個別タスクでは高い性能を示すが、ASQP などの統合タスクでは低い性能を示す理由は何か？
• RQ3 現在のデータセット収集手法における主な制限、特に意見フレーズのアノテーションとレビュー単位の感情分析に関しては何か？
• RQ4 今後のABSAデータセットは、標準化、多言語カバレッジ、アノテーター間一致性の向上をどのように改善できるか？ これによりモデルの頑健性がどのように向上するか？
• RQ5 コミュニティ主導で拡張可能なプラットフォームは、最新で包括的かつアクセス可能なABSAデータセットリポジトリを維持するために果たす役割は何か？

主な発見

• ACOS_lap や rest_acos のようなデータセットは、側面およびターゲット感情検出（TSD および ASD）において優れたパフォーマンスを示すが、ASTE や ASQP などの統合タスクでは顕著にパフォーマンスが低下しており、複数のアノテーションを統合する際の課題が浮き彫りになっている。
• SE-15 や SE-16 のようなデータセットにおいて、意見フレーズ抽出（AOPE）と他のタスク（TSD や ASD）との間のパフォーマンスギャップは、意見フレーズのアノテーションがABSAにおける主要なボトルネックである可能性を示唆している。
• 個別のタスクでは高いアノテーター間一貫性を示すものの、四つ組（ASQP）におけるターゲット、側面、意見、感情の整合性を保つ複雑さが、全体のパフォーマンスを低下させている。これは、統合抽出の難易度を強調している。
• 基本的なタスク（例：TSD）で高いパフォーマンスを示しても、ASQP などの包括的タスクで成功するとは限らないことが明らかになった。これは、タスク間の依存関係をより良くモデル化する必要があることを示唆している。
• 明確な意見フレーズ表現を有するデータセットではAOPEスコアが高くなるが、それでもASQPのパフォーマンスは最適でない。これは、正確で一貫性のある統合予測の実現が、根本的な課題であることを示している。
• 本調査では、標準化され、多言語に対応し、レビュー単位のABSAをカバーするデータセットの開発が、特にリソースが乏しい言語において、モデルの汎化性能と実世界への適用性を向上させるために不可欠であると判明した。