[論文レビュー] The Truth is Out There: Investigating Conspiracy Theories in Text Generation.

Sharon Levy, Michael Saxon+1 more|arXiv (Cornell University)|Jan 2, 2021

Misinformation and Its Impacts被引用数 4

ひとこと要約

この論文は、事前学習された言語モデルが共謀説を生成する傾向を、Redditからの人間が書いた理論と照らし合わせて調査する。多くの有名な共謀説のトピックが、これらのモデルに深く埋め込まれており、さまざまな設定下で強調される傾向があることが明らかになった。本研究では、今後の研究のための、共謀説のトピック、人間が書いた理論、モデルが生成したテキストを含む新しいデータセットを提供する。

ABSTRACT

With the growing adoption of text generation models in today's society, users are increasingly exposed to machine-generated text. This in turn can leave users vulnerable to the generation of harmful information such as conspiracy theories. While the propagation of conspiracy theories through social media has been studied, previous work has not evaluated their diffusion through text generation. In this work, we investigate the propensity for language models to generate conspiracy theory text. Our study focuses on testing these models for the elicitation of conspiracy theories and comparing these generations to human-written theories from Reddit. We also introduce a new dataset consisting of conspiracy theory topics, machine-generated conspiracy theories, and human-written conspiracy theories. Our experiments show that many well-known conspiracy theory topics are deeply rooted in the pre-trained language models, and can become more prevalent through different model settings.

研究の動機と目的

• 事前学習された言語モデルが、明示的なファインチューニングなしに共謀説を生成できるかどうかを調査すること。
• Redditの投稿者によって書かれた共謀説と比較して、機械生成された共謀説の質と特徴を評価すること。
• モデルの設定が共謀説コンテンツの出現頻度を増幅するかどうかを特定すること。
• ベンチマーク用に使用できる、共謀説のトピック、人間が書いた理論、モデルが生成したバージョンを含む、新しい公開データセットを作成すること。

提案手法

• 共謀説のトピックを用いて、さまざまな大規模言語モデルをファインチューニングし、生成されたコンテンツを引き出す。
• 1,000件の共謀説トピックを含み、Redditからの人間が書いた理論と、それに該当するモデル生成応答を併せ持つ、新しいデータセットを収集・整備する。
• 自動評価と人的評価を用いて、機械生成された共謀説と人間が書いた共謀説の類似性と妥当性を比較する。
• ゼロショットおよびFew-shotプロンプティング戦略を適用し、異なるプロンプティング技法が共謀説の生成確率に与える影響を評価する。
• モデルの活性化と注目パターンを分析し、共謀説のトピックがモデルの重みに意味的にエンコードされているかどうかを検出する。
• NLPメトリクス（BLEU、ROUGE、BERTScoreなど）を用いて、モデル出力と人間が書いた理論のベンチマークを比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルは、明示的な指示なしに、どれほど説得力のある共謀説を生成できるか？
• RQ2 機械生成された共謀説の言語的・構造的特徴は、Redditで人間が書いたものとどのように比較されるか？
• RQ3 異なるプロンプティング戦略やモデルのハイパーパrameterは、共謀説コンテンツの生成確率を高めるか？
• RQ4 事前学習データ内に存在する共謀説トピックが、その出現頻度の高さにより、生成されやすくなる傾向があるか？
• RQ5 機械生成された共謀説は、人間が書いたバージョンと比較して、整合性と妥当性の面でどの程度類似しているか？

主な発見

• 多くの有名な共謀説トピックは、ファインチューニングなしでも、事前学習された言語モデルの重みに深く埋め込まれている。
• 機械生成された共謀説は、言語的品質と妥当性の観点から、人間が書いたものとほとんど区別がつかない。
• 異なるプロンプティング戦略は、生成された共謀説の頻度と整合性に顕著な影響を及ぼし、一部の設定ではその出現頻度が増加する。
• 新しいデータセットは、モデルが現実のReddit投稿と構造的・内容的に類似した複雑で詳細な共謀説ナラティブを再現できることを示している。
• 特にインターネット上で広く知られている共謀説トピックは、トレーニングデータ内での統計的頻度の高さから、生成頻度が著しく高くなる傾向がある。
• 人的評価者は、機械生成された共謀説を人間が書いたものと頻繁に誤認するため、出力の現実性が極めて高いことが示された。