[論文レビュー] Stance Reasoner: Zero-Shot Stance Detection on Social Media with Explicit Reasoning

Maksym Taranukhin, Vered Shwartz+1 more|arXiv (Cornell University)|Mar 22, 2024

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

Stance Reasoner は、事前学習済み言語モデルを用いて文脈内学習による思考の連鎖を活用し、背景知識に基づく明確で解釈可能な推論を生成することで、ソーシャルメディアにおけるゼロショットステーント検出フレームワークを導入する。3つのTwitterデータセットにおいて、完全に教師ありの手法を含む最先端のモデルを上回り、透明で知識に基づいた推論ステップにより、未観測のターゲットへの一般化性能が向上する。

ABSTRACT

Social media platforms are rich sources of opinionated content. Stance detection allows the automatic extraction of users' opinions on various topics from such content. We focus on zero-shot stance detection, where the model's success relies on (a) having knowledge about the target topic; and (b) learning general reasoning strategies that can be employed for new topics. We present Stance Reasoner, an approach to zero-shot stance detection on social media that leverages explicit reasoning over background knowledge to guide the model's inference about the document's stance on a target. Specifically, our method uses a pre-trained language model as a source of world knowledge, with the chain-of-thought in-context learning approach to generate intermediate reasoning steps. Stance Reasoner outperforms the current state-of-the-art models on 3 Twitter datasets, including fully supervised models. It can better generalize across targets, while at the same time providing explicit and interpretable explanations for its predictions.

研究の動機と目的

• ゼロショットステーント検出の課題に取り組むこと。これは、微調整なしに未学習のターゲットに一般化できる必要がある。
• 教師ありモデルの限界を克服すること。これらは学習ターゲットに過剰適合し、解釈不能である。
• 事前学習済み言語モデルと背景知識に基づく構造的推論を組み合わせることで、一般化性能を向上させること。
• ステーント予測のための明確で人間が読める説明を生成することにより、エラーの検出とモデルデバッグを可能にすること。
• タスク固有の微調整を必要とせず、多様なトピックやドメインに一般化できる手法を開発すること。

提案手法

• 最適化されたプロンプトを用いた文脈内学習により、事前学習済み言語モデルがステーント予測のための中間的推論ステップを生成するように誘導する。
• プロンプト工学を明示的に行い、ターゲットに関する背景知識（例：@POTUS = 米国大統領）を統合する。
• 思考の連鎖（CoT）プロンプトを適用し、前提から結論へと至る構造的推論チェーンを生成する。
• モデルは微調整されない。代わりに、多様な推論戦略を持つfew-shotの例を用いて推論を誘導する。
• 1入力あたり複数の推論チェーンを生成し、予測は多数決投票により集約することで、耐障害性を向上させる。
• このフレームワークは解釈可能であり、推論ステップは手動で検証可能で、アノテーションエラーの特定に利用できる。

Figure 2: The impact of the number of sampled reasonings on the performance of Stance Reasoner. The performance increases with the number of samples.

実験結果

リサーチクエスチョン

• RQ1 背景知識に基づく明確な推論は、未学習のターゲットにおけるゼロショットステーント検出性能を向上させるか？
• RQ2 文脈内例における推論戦略の多様性は、モデルの一般化性能にどのように影響するか？
• RQ3 微調整を行わないプロンプトベースのアプローチが、ゼロショットステーント検出において完全に教師ありの最先端モデルを上回るか？
• RQ4 生成された推論チェーンは、モデルの解釈可能性とエラー検出にどの程度寄与するか？
• RQ5 この手法は、短いソーシャルメディア投稿を超えて、さまざまなドメインやテキストタイプにどの程度一般化するか？

主な発見

• Stance Reasoner は、3つの公開済み Twitter ステーント検出データセットにおいて、完全に教師ありの最先端モデルを含むすべてのベースラインモデルを上回る性能を示した。
• 未学習のターゲットへの優れた一般化性能を示し、トピック間で推論戦略の効果的な転送が行われていることが示された。
• 生成された推論チェーンは解釈可能であり、アノテーションエラーと曖昧な例の特定に利用できる。
• 文脈内例における推論戦略の多様性が性能向上に寄与しており、推論の多様性の重要性が浮き彫りになった。
• 微調整を一切行わず、プロンプト工学と文脈内学習に依存することで、高い性能を維持した。
• モデルの推論は多くの場合忠実であるが、忠実性は保証されず、特に皮肉のような複雑なケースでは手動での検証が不可欠である。