[論文レビュー] How would Stance Detection Techniques Evolve after the Launch of ChatGPT?

Bowen Zhang, Daijun Ding+3 more|arXiv (Cornell University)|Dec 30, 2022

Topic Modeling被引用数 68

ひとこと要約

本論文は、スタンス検出ベンチマーク（SemEval-2016およびP-Stance）におけるChatGPTのゼロショットおよびインドメイン性能を調査し、ChatGPTがSOTAまたはほぼSOTAの結果を達成できること、予測に対する説明を提供できることを示し、スタンス検出研究のパラダイムを変革する可能性がある。

ABSTRACT

Stance detection refers to the task of extracting the standpoint (Favor, Against or Neither) towards a target in given texts. Such research gains increasing attention with the proliferation of social media contents. The conventional framework of handling stance detection is converting it into text classification tasks. Deep learning models have already replaced rule-based models and traditional machine learning models in solving such problems. Current deep neural networks are facing two main challenges which are insufficient labeled data and information in social media posts and the unexplainable nature of deep learning models. A new pre-trained language model chatGPT was launched on Nov 30, 2022. For the stance detection tasks, our experiments show that ChatGPT can achieve SOTA or similar performance for commonly used datasets including SemEval-2016 and P-Stance. At the same time, ChatGPT can provide explanation for its own prediction, which is beyond the capability of any existing model. The explanations for the cases it cannot provide classification results are especially useful. ChatGPT has the potential to be the best AI model for stance detection tasks in NLP, or at least change the research paradigm of this field. ChatGPT also opens up the possibility of building explanatory AI for stance detection.

研究の動機と目的

• ChatGPTのゼロショットスタンス検出性能を標準データセット（SemEval-2016、P-Stance）で評価する。
• ChatGPTのインドメイン性能を、データで訓練された従来モデルと比較して評価する。
• ChatGPTが自らのスタンス決定を説明する能力と、スタンス検出の説明可能AIを可能にする潜在性を分析する。

提案手法

• ChatGPTに対して、特定のツイートのターゲットに対するスタンスを直接尋ねるプロンプトを構築する（ゼロショット prompting）。
• SemEval-2016およびP-StanceデータセットでF1-avgおよびmacro-F1（F1-m）を用いて出力を評価する。
• ゼロショットのChatGPT結果を、伝統的なモデルおよびインドメイン（80% training data）ベースラインと比較する。
• ChatGPTがスタンスを提供できない場合、その説明を分析する（将来の説明可能AIの洞察のため）。
• 論文の更新版でGPT-3.5-0301バリアントを用いて結果を更新する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、標準データセット上でゼロショット設定においてSOTAまたは競争力のあるスタンス検出性能を達成できるか？
• RQ2 ChatGPTは、ラベル付きデータを大量に訓練したモデルと比べてインドメインでどの程度の性能を発揮するか？
• RQ3 ChatGPTがスタンス決定の説明を提供する種別は何か、マルチターン promptingが性能をさらに向上させる可能性はあるか？
• RQ4 ChatGPTをスタンス検出に用いることから今後の研究方向として、プロンプト設計、説明性、マルチラウンドの対話などどのような方向性が生まれるか？

主な発見

• ChatGPTはゼロショット promptingの下で、SemEval-2016およびP-Stanceにおいて最先端または類似の性能を達成する。
• ChatGPTはゼロショット設定でベースラインを上回ることが多く、インドメイン設定でも競争力を維持する。
• ChatGPTは、明示的・暗黙的なスタンス信号を含む決定の説明を提供できる。
• チェーン・オブ・プロンプト（マルチターンの対話）は、スタンス検出の性能をさらに向上させる可能性がある。
• 今後の3つの提案された方向性として、より良いプロンプトテンプレート、説明可能AIのためのChatGPTの説明の活用、難易度の高いインスタンスのカバー範囲を広げるマルチラウンド対話の探索が挙げられる。