[論文レビュー] Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study

Zengzhi Wang, Qiming Xie+4 more|arXiv (Cornell University)|Apr 10, 2023

Topic Modeling被引用数 78

ひとこと要約

本論文は、複数のタスク（SC、ABSC、E2E-ABSA、ECE、ECPE）とデータセットにわたり、ゼロショットと少数ショットのプロンプトを、ファインチューニング済みBERTおよびSOTAモデルと比較しつつ、ChatGPT（GPT-3.5）を普遍的な感情分析器として予備的に評価し、人間評価とケーススタディを実施している。

ABSTRACT

Recently, ChatGPT has drawn great attention from both the research community and the public. We are particularly interested in whether it can serve as a universal sentiment analyzer. To this end, in this work, we provide a preliminary evaluation of ChatGPT on the understanding of \emph{opinions}, \emph{sentiments}, and \emph{emotions} contained in the text. Specifically, we evaluate it in three settings, including \emph{standard} evaluation, \emph{polarity shift} evaluation and \emph{open-domain} evaluation. We conduct an evaluation on 7 representative sentiment analysis tasks covering 17 benchmark datasets and compare ChatGPT with fine-tuned BERT and corresponding state-of-the-art (SOTA) models on them. We also attempt several popular prompting techniques to elicit the ability further. Moreover, we conduct human evaluation and present some qualitative case studies to gain a deep comprehension of its sentiment analysis capabilities.

研究の動機と目的

• テキスト内の意見・感情・感情を複数の感情分析タスクで理解するChatGPTの能力を評価する。
• 標準、極性シフト、オープンドメイン、感情推論評価において、ChatGPTとファインチューニング済みBERTおよびSOTAモデルを比較する。
• few-shot promptingと人間評価がChatGPTの感情分析性能に与える影響を探る。
• 極性シフト現象とオープンドメインの一般化におけるChatGPTの能力を検討する。
• 感情推論評価を通じた感情-原因対ペア抽出の調査を行う。

提案手法

• 標準評価、極性シフト評価、オープンドメイン評価、感情推論評価の4設定でChatGPTを評価する。
• SC、ABSC、E2E-ABSA、ECE、ECPEタスクを網羅する18のベンチマークデータセットを使用する。
• ファインチューニング済みBERTのベースラインおよび最先端モデルとChatGPTを比較する；特記がない限りゼロショットの結果を報告する。
• タスク固有の指示とプロンプト（Table 1 prompts）でChatGPTにプロンプトを与え、出力のばらつきのため結果を手動で記録する。
• E2E-ABSAの整合性と実用性を評価するために人間評価を実施する。
• デモンストレーションを用いた少数-shot prompting実験（k = 1,3,9,27）を実施し、デモンストレーションによる獲得を評価する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは標準・極性シフト・オープンドメイン・感情推論評価に跨る普遍的な感情分析器として機能し得るか。
• RQ2 SC、ABSC、ABSAタスクにおけるChatGPTのゼロショット性能は、ファインチューニング済みBERTおよびSOTAモデルと比較してどうか。
• RQ3 少数ショット promptingは、タスクとドメインを横断してChatGPTの感情分析性能を大幅に向上させるか。
• RQ4 極性シフト現象（否定と推測）に対するChatGPTのロバスト性は、BERTベースラインと比較してどの程度か。
• RQ5 オープンドメインの感情分析と感情-原因抽出タスクにおけるChatGPTの能力はどうか。

主な発見

• ChatGPTは感情分類においてゼロショットで印象的な性能を示し、ファインチューニング済みBERTと競合し、時にはSOTAモデルに近づくことがある。
• ChatGPTはE2E-ABSAの正確一致評価での性能は低いが、人間評価では妥当で、人間と一致する予測を出せる。
• 少数ショット promptingはタスクとドメインを跨いで性能を大幅に向上させ、時にはファインチューニング済みBERTを上回ることもあるが、通常はSOTAモデルには及ばない。
• ChatGPTは極性シフト（否定と推測）に対するロバスト性が、特にABSCタスクでファインチューニング済みBERTより高い。
• オープンドメイン評価では、ChatGPTは多源のファインチューニング済みBERTと同等以上の場合が多く、いくつかのデータセットで完全監視付きBERTの性能に近づくことがある；ただしドメインによって性能は異なる（例：ソーシャルメディア領域は依然難しい）。
• ChatGPTは感情推論能力が高く、ECEおよびECPEでベースライン手法と比較して良好だが、ECPEはより難しい。人間評価は多くの予測が正確一致以上に合理的であることを示唆している。