[論文レビュー] Investigating Chain-of-thought with ChatGPT for Stance Detection on Social Media

Bowen Zhang, Xianghua Fu+6 more|arXiv (Cornell University)|Apr 6, 2023

Misinformation and Its Impacts被引用数 17

ひとこと要約

この論文は、Chain-of-Thought prompting を ChatGPT (GPT-3.5) を用いた社会メディアの立場検出に適用し、CoTがトレーニングなしで最先端または競争力のある結果を達成できることを示すとともに、バイアスと prompting デザインの問題を論じる。

ABSTRACT

Stance detection predicts attitudes towards targets in texts and has gained attention with the rise of social media. Traditional approaches include conventional machine learning, early deep neural networks, and pre-trained fine-tuning models. However, with the evolution of very large pre-trained language models (VLPLMs) like ChatGPT (GPT-3.5), traditional methods face deployment challenges. The parameter-free Chain-of-Thought (CoT) approach, not requiring backpropagation training, has emerged as a promising alternative. This paper examines CoT's effectiveness in stance detection tasks, demonstrating its superior accuracy and discussing associated challenges.

研究の動機と目的

• ソーシャルメディアにおける立場検出のためのVLPLMsのデプロイメント課題に取り組むことで研究の動機づけを行う。
• トレーニング不要のパラメータなしの Chain-of-Thought prompting（DQA および StSQA）を ChatGPT で評価し、立場予測を行う。
• 複数のデータセットで CoT ベースの prompting を従来手法および他のベースラインと比較して評価する。
• CoT の立場検出性能に影響を与える制限事項およびバイアスの問題を特定する。

提案手法

• 2つのCoT prompting 戦略を比較する：直接質問応答（DQA）と段階的質問応答（StSQA）。
• ゼロショット設定（DQA）とワンショット prompts（StSQA）を用いて ChatGPT（GPT-3.5）から立場判断を導出する。
• 推論を導くために QAP（質問-回答ペア）と CoT の説明を含むプロンプトを構築する。
• SemEval-2016、VAST（ゼロショット）、および P-Stance データセットで macro-F1 および Favg 指標を用いて評価する。
• ベースラインの幅広いスタンス検出手法と比較する（例：Bicond, CrossNet, SEKT, MemNet, AOA, TAN, ASGCN, Bert_spc, Bert-GCN, PT-HCL）。
• CoT の性能に影響する要因を分析する。対象のバイアス、QAP の数とタイプ、立場タスクの粒度を含む。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT を用いた CoT prompting はトレーニングなしで最先端または競争力のある立場検出性能を達成できるか。
• RQ2 標準データセットを横断するゼロショットおよびワンショット設定において、異なるCoT prompting 戦略（DQA 対 StSQA）はどのように比較されるか。
• RQ3 ソーシャルメディアにおけるCoTベースの立場検出に影響を与える制限とバイアス（例：対象バイアス、QAPの選択、タスクの粒度）は何か。

主な発見

• ChatGPT を用いた CoT prompting は複数のデータセットでトレーニング不要ながら最先端または同等の性能を達成できる。
• StSQA は強力なゼロショット性能を発揮し、ゼロショット設定で競合ベースラインを上回ることが多い。
• ChatGPT は特定の話題で性能を低下させうる対象バイアスを示す。 prompting 戦略と対象選択は慎重な設計が必要である。
• QAP の数と種類は性能に顕著に影響し、過度に具体的なプロンプトは時として精度を低下さる。
• 細粒度の立場定義（対象への複数の観点）は直接的な極性分類には課題をもたらし、さらなる研究が必要である。