[論文レビュー] Reasoning Implicit Sentiment with Chain-of-Thought Prompting

Hao Fei, Bobo Li+4 more|arXiv (Cornell University)|May 18, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、段階的な推論により微細な側面、潜在的意見、最終的な感情極性を順に処理する3ホップのチェーン・オブ・トゥグラウト（CoT）プロンプティングフレームワークであるThoRを提案する。大規模言語モデル（LLM）を用いた構造的CoTプロンプティングと自己一貫性を活用することで、GPT-3（175B）を用いたゼロショットISAにおいて、ベースライン比で51.10%のF1スコア向上を達成し、先行手法を顕著に上回る。

ABSTRACT

While sentiment analysis systems try to determine the sentiment polarities of given targets based on the key opinion expressions in input texts, in implicit sentiment analysis (ISA) the opinion cues come in an implicit and obscure manner. Thus detecting implicit sentiment requires the common-sense and multi-hop reasoning ability to infer the latent intent of opinion. Inspired by the recent chain-of-thought (CoT) idea, in this work we introduce a Three-hop Reasoning (THOR) CoT framework to mimic the human-like reasoning process for ISA. We design a three-step prompting principle for THOR to step-by-step induce the implicit aspect, opinion, and finally the sentiment polarity. Our THOR+Flan-T5 (11B) pushes the state-of-the-art (SoTA) by over 6% F1 on supervised setup. More strikingly, THOR+GPT3 (175B) boosts the SoTA by over 50% F1 on zero-shot setting. Our code is open at https://github.com/scofield7419/THOR-ISA.

研究の動機と目的

• 意見の兆候が存在しない、もしくは曇っている暗黙の感情分析（ISA）の課題に対処すること。
• 段階的推論による人間らしい推論を模倣することで、ISAにおける感情予測の正確性を向上させること。
• チェーン・オブ・トゥグラウト（CoT）プロンプティングのパラダイムを、特に暗黙の感情検出に向けた感情分析分野へ拡張すること。
• 大規模言語モデル（LLM）による構造的で段階的な推論が、ゼロショットおよび教師あり設定において直接予測を上回ることを示すこと。

提案手法

• まずターゲットの微細な側面を推論し、次に潜在的意見を推論し、最後に感情極性を推論する3段階のプロンプティングフレームワークを設計する。
• 複数の推論経路における高い投票一貫性を示す候補回答を選択することで、推論の信頼性を向上させる自己一貫性メカニズムを実装する。
• 教師あり微調整のための推論再検討手法を導入し、中間の推論出力を入力として使用して最終ラベルを予測する。この際、正解アノテーションがガイドラインとして機能する。
• Flan-T5（11B）やGPT-3（175B）といった大規模言語モデル（LLM）をバックボーンとして採用し、世界知識および推論能力を活用する。
• 中間の推論ステップを誘発するためCoTプロンプティングを適用し、モデルを直接ラベル予測者ではなく、マルチホップ推論者に変換する。
• 一般化性能と性能向上を評価するために、ゼロショットおよび教師あり微調整設定の両方へフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）における段階的推論を可能にするチェーン・オブ・トゥグラウトプロンプティングが、暗黙の感情分析を効果的に改善できるか？
• RQ2 構造的3ホップ推論（側面 → 意見 → 極性）は、直接分類と比較して感情予測をどのように向上させるか？
• RQ3 モデルスケーリングが、ゼロショットおよび教師あり設定におけるThoRフレームワークの性能向上にどの程度寄与するか？
• RQ4 推論経路における自己一貫性は、暗黙の感情検出における耐障害性を向上させ、誤り率を低下させるか？
• RQ5 ThoRの主な失敗モードは何か？また、ゼロショットと微調整済み設定の間でそれらはどのように異なるか？

主な発見

• ThoR + Flan-T5（11B）は、教師あり設定において、最良のベースライン比でF1スコアに6%以上の向上を達成した。
• ThoR + GPT-3（175B）は、ゼロショット設定においてベースライン比でF1スコアに51.10%の相対的向上を達成し、優れた一般化性能を示した。
• 微調整を施したことで、Flan-T5-11Bを用いたゼロショットThoRの誤り率は48.27%から12.79%に低下し、推論品質への教師あり学習の恩恵が明確になった。
• 失敗分析の結果、非教師ありのGPT-3の誤りは主にノイズの多いデータアノテーションに起因する一方、微調整済みT5モデルはより多く誤った相関関係を学習しやすい傾向にあった。
• ThoRの性能向上は、より大きなモデルで顕著に現れ、その有効性が大規模LLMに現れる推論能力に深く関連していることが確認された。
• ThoRは、暗黙の感情分析分野におけるチェーン・オブ・トゥグラウトプロンプティングの最初の成功した応用であり、ゼロショットおよび教師あり両設定で新たなSOTAを確立した。