[論文レビュー] ASAP: A Chinese Review Dataset Towards Aspect Category Sentiment Analysis and Rating Prediction

Jiahao Bu, Lei Ren+5 more|arXiv (Cornell University)|Mar 11, 2021

Sentiment Analysis and Opinion Mining参考文献 32被引用数 7

ひとこと要約

本稿では、46,730件の手動アノテーション付きレポートを含む大規模な中国語レストランレビューのデータセットであるASAPを紹介する。このデータセットは、18の側面カテゴリと5段階のスコアを特徴とし、側面カテゴリ感情分析（ACSA）とスコア予測（RP）の両方を対象としている。本稿では、共有表現とマルチタスク学習を活用することで、両タスクのパフォーマンスを向上させるBERTベースの共同モデルを提案している。このモデルは、両タスクにおいて最先端のベースラインを上回り、MAEは低く、精度は高い。

ABSTRACT

Sentiment analysis has attracted increasing attention in e-commerce. The sentiment polarities underlying user reviews are of great value for business intelligence. Aspect category sentiment analysis (ACSA) and review rating prediction (RP) are two essential tasks to detect the fine-to-coarse sentiment polarities. %Considering the sentiment of the aspects(ACSA) and the overall review rating(RP) simultaneously has the potential to improve the overall performance. ACSA and RP are highly correlated and usually employed jointly in real-world e-commerce scenarios. While most public datasets are constructed for ACSA and RP separately, which may limit the further exploitation of both tasks. To address the problem and advance related researches, we present a large-scale Chinese restaurant review dataset extbf{ASAP} including $46,730$ genuine reviews from a leading online-to-offline (O2O) e-commerce platform in China. Besides a $5$-star scale rating, each review is manually annotated according to its sentiment polarities towards $18$ pre-defined aspect categories. We hope the release of the dataset could shed some light on the fields of sentiment analysis. Moreover, we propose an intuitive yet effective joint model for ACSA and RP. Experimental results demonstrate that the joint model outperforms state-of-the-art baselines on both tasks.

研究の動機と目的

• 側面カテゴリ感情分析（ACSA）とスコア予測（RP）のための大規模で統合された中国語データセットが不足しているという問題に取り組むこと。
• 両方のタスクを統合的にモデリングできる統一されたデータセットを提供することで、細分化された側面感情と全体のレビュー評価を捉えること。
• 統合的な側面レベルの感情と全体のスコアの分析を通じて、感情理解と信頼性の高い検出を向上させることで、eコマースビジネスインテリジェンスを前進させること。
• 研究を促進するために、公開可能で高品質なデータセットをリリースすること。

提案手法

• 著者らは、中国のO2O eコマースプラットフォーム（Meituan）の上位1000件のレストランレビューを収集した。
• 各レビューは、食事、サービス、雰囲気などの18の事前に定義された側面カテゴリごとに、感情極性（肯定的、否定的、中立的）で手動でアノテーションされた。
• ACSAとRPの両タスクに共通のBERTエンコーダーを搭載する共同ディープラーニングモデルを提案した。これにより、側面部感情予測と全体スコア推定の間で知識の転送が可能になった。
• アテンションプーリング層を用いて、各側面カテゴリに関連するトークンに動的に注目させることで、感情を示すフレーズの局所化を向上させた。
• ACSAとRPの損失関数を同時に最適化することで、エンドツーエンドで訓練されるマルチタスク学習により、共同モデルが構築された。
• パラメータ共有のおかげで、特に側面カテゴリ数が多い場合に、効率的な推論が可能になった。

実験結果

リサーチクエスチョン

• RQ1 大規模で多側面的、多ラベルな中国語レビューのデータセットは、側面カテゴリ感情分析とスコア予測モデルのパフォーマンスを向上させることができるか？
• RQ2 ACSAとRPを統合的にモデリングすることで、独立して訓練する場合と比較して、パフォーマンスがどのように向上するか？
• RQ3 細分化された側面感情情報を組み込むことで、全体のスコア予測の正確性はどの程度向上するか？
• RQ4 共有表現とアテンション機構を用いたBERTの使用は、ACSAおよびRPの両タスクにおける一般化性能を向上させるか？

主な発見

• 提案された共同モデルは、ACSAで84.7%のマクロF1スコア、RPで61.26%の精度を達成し、すべての最先端のベースラインを上回った。
• RPのためのMAEは0.4266まで低下し、最良のベースライン（0.5620）よりも顕著に低くなった。
• アブレーションスタディの結果、RPヘッドを削除すると両タスクのパフォーマンスが低下し、共同学習の補完的性質が確認された。
• アテンション可視化の結果、モデルが効果的に側面関連のトークンに注目していることが示された。例として、交通に関する「交通挺方便的」や騒音に関する「特別吵感覺」が挙げられる。
• RPヘッドあり（ACSAなし）の共同モデルでさえ、すべての単独ACSAベースラインを上回った。これは、RPが側面部感情予測に有用なインダクティブバイアスを提供していることを示している。
• データセットのリリースにより、中国語の側面ベース感情分析およびスコア予測分野の研究が加速すると期待される。