[論文レビュー] Exploiting Sentiment and Common Sense for Zero-shot Stance Detection

Luo Yun, Zihan Liu+3 more|arXiv (Cornell University)|Aug 18, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、グラフ自己符号化器とセンチメント対応 BERT を用いてセンチメントおよび一般常識的知識を統合する、新しいゼロショットステークス検出モデルを提案する。VASTベンチマークにおいて最先端の性能を達成した。モデルは、センチメントと一般常識的推論を通じて、暗黙のトピックの手がかりを活用することで汎化性能を向上させ、アブレーションスタディにより両方の知識タイプの有効性を確認した。

ABSTRACT

The stance detection task aims to classify the stance toward given documents and topics. Since the topics can be implicit in documents and unseen in training data for zero-shot settings, we propose to boost the transferability of the stance detection model by using sentiment and commonsense knowledge, which are seldom considered in previous studies. Our model includes a graph autoencoder module to obtain commonsense knowledge and a stance detection module with sentiment and commonsense. Experimental results show that our model outperforms the state-of-the-art methods on the zero-shot and few-shot benchmark dataset--VAST. Meanwhile, ablation studies prove the significance of each module in our model. Analysis of the relations between sentiment, common sense, and stance indicates the effectiveness of sentiment and common sense.

研究の動機と目的

• トレーニングデータに存在しない暗黙のトピックを対象とするゼロショットステークス検出の課題に対処すること。
• センチメントと一般常識的知識を統合することで、先行研究であまり活用されていなかった知識を活用し、モデルの汎化性能を向上させること。
• センチメントと一般常識的知識を統合する一貫性のあるフレームワークを、BERTベースのステークス検出モデルに統合すること。
• センチメント・一般常識の整合性がステークス分類性能に与える影響を評価すること。
• 皮肉、引用、暗黙のトピック参照などの困難なケースにおいて、モデルの頑健性を示すこと。

提案手法

• RGCN および DisMult を用いたグラフ自己符号化器を、ConceptNet から関係性知識を学習するために訓練し、未学習のトピックに対しても一般常識的推論を可能にする。
• SentiBERT を用いてセンチメント情報を抽出し、クロスアテンション機構を介して BERT に統合することで、センチメント対応表現を強化する。
• ステークス検出モジュールは、BERT、センチメント特徴、一般常識埋め込みを統合し、ステークス分類損失を用いてエンドツーエンドで微調整する。
• グラフ自己符号化器の事前学習中に、概念間の関係予測を最適化するためにネガティブサンプリングが用いられる。
• モデルは、ゼロショットおよびフェイシュット設定の両方で VAST データセット上で評価され、アブレーションスタディにより各コンポonentの寄与度が分離される。
• 一般常識的知識のカバレッジレベルを変化させながら事前学習することで、その影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 センチメントと一般常識的知識を統合することで、未学習のトピックに対するゼロショットステークス検出性能はどのように向上するか？
• RQ2 センチメントと一般常識的知識の両方が、ステークス分類精度に与える相対的寄与度は何か？
• RQ3 異なるセンチメント・ステークスペア（例：(Pos, Pro), (Neg, Con)）がモデル性能に与える影響は何か？
• RQ4 一般常識的知識のカバレッジを増やすことで、モデルの汎化性能はどの程度向上するか？
• RQ5 文脈的手がかりを通じてトピックが暗黙に示唆される場合、モデルは適切にステークスを検出できるか？

主な発見

• 提案モデルは、ゼロショットおよびフェイシュットステークス検出の両方において、VASTベンチマークで最先端の性能を達成した。
• （Neg, Con）センチメント・ステークスペアでは 78.9% の精度を達成し、（Pos, Pro）では 56.6% を達成しており、対応するペアのほうが高い精度であることが示された。
• Neu ステークスでは、Pro や Con ステークスよりも顕著に高い精度（83.1–91.4%）を示しており、中立的なケースが検出されやすいことが示唆された。
• マクロ-F1スコアは、一般常識的知識のカバレッジが高くなるにつれて上昇し、知識の範囲とモデル性能の間には明確な正の相関があることが示された。
• アブレーションスタディにより、グラフ自己符号化器とセンチメントモジュールの両方が性能向上に顕著に寄与しており、完全なモデルがベースラインを上回った。
• ケーススタディでは、皮肉、暗黙の参照（例：'games' が 'Olympics' を指す場合）、比喩的表現を含む複雑なケースにおいても、モデルが正しくステークスを特定していることが確認された。