[論文レビュー] ScenarioSA: A Large Scale Conversational Database for Interactive Sentiment Analysis

Yazhou Zhang, Lingling Song+4 more|arXiv (Cornell University)|Jul 12, 2019

Sentiment Analysis and Opinion Mining参考文献 6被引用数 6

ひとこと要約

本稿では、2,214件のマルチターン英語対話から構成され、インタラクティブなセンチメント分析のための手作業によるラベルが付与された大規模かつ公開可能な会話データベース、ScenarioSA を紹介する。これは、多様な現実世界の状況における動的かつ人間関係的なセンチメントの変化を捉え、静的テキスト分類をはるかに超えた、高度なインタラクティブセンチメント分析モデルの開発と評価を可能にする。

ABSTRACT

Interactive sentiment analysis is an emerging, yet challenging, subtask of the sentiment analysis problem. It aims to discover the affective state and sentimental change of each person in a conversation. Existing sentiment analysis approaches are insufficient in modelling the interactions among people. However, the development of new approaches are critically limited by the lack of labelled interactive sentiment datasets. In this paper, we present a new conversational emotion database that we have created and made publically available, namely ScenarioSA. We manually label 2,214 multi-turn English conversations collected from natural contexts. In comparison with existing sentiment datasets, ScenarioSA (1) covers a wide range of scenarios; (2) describes the interactions between two speakers; and (3) reflects the sentimental evolution of each speaker over the course of a conversation. Finally, we evaluate various state-of-the-art algorithms on ScenarioSA, demonstrating the need of novel interactive sentiment analysis models and the potential of ScenarioSA to facilitate the development of such models.

研究の動機と目的

• マルチターン会話におけるインタラクティブセンチメント分析のための、大規模かつラベル付きデータセットが不足しているという問題に対処すること。
• 会話の過程で個々の発話者における感情状態やセンチメントの変化を捉えるデータセットを構築すること。
• 個々の発話者の感情状態の変化をモデル化するのではなく、人間関係的なセンチメントダイナミクスをモデル化する新しいモデルの開発を支援すること。
• インタラクティブセンチメント理解タスクにおける最新のアルゴリズムの評価のためのベンチマークを提供すること。

提案手法

• 著者らは、多様性と真正性を確保するため、現実世界の文脈から2,214件の自然なマルチターン英語対話を収集した。
• 各対話は、発話ごとの感情状態を捉えるために、発話者ごとに手作業でセンチメントラベルが付与された。
• データセットは、社会的、職業的、感情的な対話など、幅広い状況をカバーしており、現実の会話の複雑さを反映している。
• 会話の各ターンにおけるセンチメントの変化を明示的にラベル付けすることで、対話中の感情状態の変化を反映している。
• 発話者固有のセンチメントトレースのモデリングを可能にするために、発話レベルおよび対話レベルの両方のセンチメント分析をサポートする構造となっている。
• 再現可能性の高い研究およびインタラクティブセンチメント分析分野におけるモデル開発を支援するため、データセットは公開されている。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端モデルは、マルチターン会話におけるインタラクティブセンチメントダイナミクスをどの程度正しく捉えられるか？
• RQ2 既存のセンチメント分析モデルは、時間の経過に伴い発話者の感情状態がどのように変化するかを効果的にモデル化できるか？
• RQ3 人間関係的なダイナミクスを伴う会話的センチメント分析に応用された際、現在のアプローチにどのような制限があるか？
• RQ4 データセット内の状況の多様性が、モデルの一般化性能や性能にどの程度影響を与えるか？
• RQ5 大規模かつ手作業でラベル付けされた会話データセットは、インタラクティブセンチメント分析モデルの開発をどのように改善できるか？

主な発見

• ScenarioSA における最先端モデルの評価から、顕著な性能格差が明らかになった。これは、現在のモデルがインタラクティブセンチメントダイナミクスをモデル化するのに不適切であることを示している。
• データセットの複雑さと多様性は、感情を静的または発話者に依存しないものとして扱う既存のアプローチの限界を露呈している。
• 結果から、会話内のセンチメントの変化と人間関係的相互作用を捉えるために、特に設計された新規モデルの明確な必要性が示された。
• ScenarioSA の利用可能性により、インタラクティブセンチメント分析システムのより正確で洗練された評価が可能になった。
• このデータセットは、発話ターンにわたる個々の感情的トレースを追跡できるモデルの開発を支援しており、従来のベンチマークには欠落していた能力である。