[論文レビュー] DiaASQ : A Benchmark of Conversational Aspect-based Sentiment Quadruple Analysis

Bobo Li, Hao Fei+9 more|arXiv (Cornell University)|Nov 10, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、対話的側面ベースの感情四重項分析のための新規ベンチマークであるDiaASQを紹介する。このベンチマークにより、複数回の対話におけるターゲット・側面・意見・感情の三重項のエンド・ツー・エンド検出が可能になる。著者らは、1,000件の対話スニペット（7,452発話）からなる大規模かつ高品質な中国語および英語のデータセットを公開し、対話固有の表現と発話間エンコーディングを活用するエンド・ツー・エンドニューラルモデルを提案。このモデルは、新しいベンチマーク上で強力なベースラインを上回る性能を発揮する。

ABSTRACT

The rapid development of aspect-based sentiment analysis (ABSA) within recent decades shows great potential for real-world society. The current ABSA works, however, are mostly limited to the scenario of a single text piece, leaving the study in dialogue contexts unexplored. To bridge the gap between fine-grained sentiment analysis and conversational opinion mining, in this work, we introduce a novel task of conversational aspect-based sentiment quadruple analysis, namely DiaASQ, aiming to detect the quadruple of target-aspect-opinion-sentiment in a dialogue. We manually construct a large-scale high-quality DiaASQ dataset in both Chinese and English languages. We deliberately develop a neural model to benchmark the task, which advances in effectively performing end-to-end quadruple prediction, and manages to incorporate rich dialogue-specific and discourse feature representations for better cross-utterance quadruple extraction. We hope the new benchmark will spur more advancements in the sentiment analysis community.

研究の動機と目的

• 単一テキスト入力に主に焦点を当てた感情分析（ABSA）研究のギャップを埋めるために、対話レベルABSAのための新規タスクを導入すること。
• 複数回の対話におけるターゲット、側面、意見、感情を捉える、会話的側面ベースの感情四重項分析（DiaASQ）の包括的ベンチマークを構築すること。
• 実際のソーシャルメディア会話から抽出された微細な感情四重項を含む、大規模かつ高品質な多言語データセット（中国語および英語）を構築すること。
• 四重項抽出に効果的に対話固有の相互作用と発話間依存関係を捉えることができるエンド・ツー・エンドニューラルモデルを設計・評価すること。
• 標準化されたベンチマークとオープンソースリソースを提供することで、将来的な多言語的・発話間的・照応関係認識対応ABSA研究を可能にすること。

提案手法

• 四重項の4つの要素（ターゲット、側面、意見、感情）を一度の順伝播で同時に予測するためのグリッドフィルタッキング方式を提案。これにより、組み合わせ的爆発を回避する。
• 発話レベルの文脈と会話の流れを捉えるために、マルチヘッド自己注意機構を用いた対話固有の発話相互作用表現をモデルに組み込む。
• 相対的発話距離を位置特徴としてエンコードし、発話間の依存関係と時間的関係をモデル化する。
• 構造的予測損失を用いたシーケンスラベル付けアプローチにより、エンド・ツー・エンドで訓練。これにより、四重項のすべての要素の共同最適化が可能になる。
• 訓練済みのアノテーターによるクラウドソーシングを用いてデータセットを構築。中国語および英語の両方で、ターゲット、側面、意見、感情極性の高品質なラベル付けを保証する。
• 多言語バージョンは、元の中国語アノテーションを翻訳することで作成。これにより、対照的文のアライメントが保持され、多言語分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、単一テキスト入力に限られた側面ベースの感情分析（ABSA）を、複数回の対話的文脈に拡張できるか？
• RQ2 会話の複数発話にまたがる感情四重項を抽出する際の主な課題は何か？
• RQ3 統一的でエンド・ツー・エンドのニューラルモデルは、四重項抽出において、対話固有の表現と発話間依存関係をどれほど効果的に捉えることができるか？
• RQ4 提案されたモデルは、大規模かつ多言語的、対話レベルのABSAベンチマーク上で、強力なベースラインと比較してどの程度の性能を示すか？
• RQ5 提案されたベンチマークは、将来的に多言語的および多言語間の対話感情分析研究を支援できるか？

主な発見

• DiaASQベンチマークには、7,452発話を含む1,000件の対話スニペットが収録されており、そのうち22.2％が複数発話にまたがる四重項を含む。これは、発話間抽出の難易度を示している。
• 提案されたエンド・ツー・エンドモデルは、強力なベースラインを著しく上回る性能を発揮。対話固有の相互作用と相対的発話距離のモデル化の有効性が裏付けられた。
• 指差しの解消（コアリフレンス）処理においても、『Xiaomi 6』など以前に言及されたターゲットを指す『it』のような代名詞を効果的に処理する、高い耐性を示した。
• 重複する四重項（例：『バッテリー寿命』という同じ側面が『Xiaomi 11』および『Xiaomi 6』という異なるターゲットに現れる）に対しても、効果的に対応した。
• 多言語バージョンのデータセットにより、中国語と英語の並列アノテーションが得られ、多言語ABSA研究の将来的な支援が可能になった。
• ユーザーの個人情報が匿名化され、適切なアノテーター報酬とAPI準拠を含む倫理的セーフティーハーバードを備えた、公開されたデータセットが提供された。