[論文レビュー] A Cost Analysis of Generative Language Models and Influence Operations

Micah Musser|arXiv (Cornell University)|Aug 7, 2023

Software Engineering Research被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLM）をインフォーマル操作に使用する際の経済的コストをモデル化し、たとえ信頼性が低いLLM（25％の正確性すらも）であっても、人間による作成に比べてコンテンツ生成コストを最大70％まで削減できることを示している。また、オープンソースの代替手段が存在する場合、APIアクセス可能なモデルに対する監視制御は、抑止力に限界があることが判明した。さらに、国家主導の行動者が誤情報キャンペーンに特化したLLMを訓練しても、経済的利点は顕著に得られないことが分かった。

ABSTRACT

Despite speculation that recent large language models (LLMs) are likely to be used maliciously to improve the quality or scale of influence operations, uncertainty persists regarding the economic value that LLMs offer propagandists. This research constructs a model of costs facing propagandists for content generation at scale and analyzes (1) the potential savings that LLMs could offer propagandists, (2) the potential deterrent effect of monitoring controls on API-accessible LLMs, and (3) the optimal strategy for propagandists choosing between multiple private and/or open source LLMs when conducting influence operations. Primary results suggest that LLMs need only produce usable outputs with relatively low reliability (roughly 25%) to offer cost savings to propagandists, that the potential reduction in content generation costs can be quite high (up to 70% for a highly reliable model), and that monitoring capabilities have sharply limited cost imposition effects when alternative open source models are available. In addition, these results suggest that nation-states -- even those conducting many large-scale influence operations per year -- are unlikely to benefit economically from training custom LLMs specifically for use in influence operations.

研究の動機と目的

• プロパガンダ活動の実施者が大規模なインフォーマル操作においてLLMを採用する経済的インcentiveを評価すること。
• さまざまなモデルの信頼性やキュレーション要件を想定した場合に、LLMを用いることと手作業によるコンテンツ作成とを比較した際のコスト削減を評価すること。
• 監視制御がAPIアクセス可能なLLMに適用された場合の政策的効果を、経済的影響の観点から分析すること。
• 国家主導の行動者がインフォーマルキャンペーンを実施するにあたり、独自にLLMを訓練することに経済的利点があるかどうかを特定すること。

提案手法

• 本研究は、三つのコンテンツ生成戦略（手作業による作成、APIアクセス可能なLLM、オープンソースLLM）を比較するコストモデルを構築した。
• 代数的解法を用いて、LLMが人的労働や他のモデルよりも経済的に優位になる性能の閾値を導出している。
• モデルには、限界コスト（人的労働、検出ペナルティ、キュレーション時間）と固定コスト（例：LLMの訓練やファインチューニング）を組み込んでいる。
• 主な方程式（例：式6–10）は、損益分岐点の性能、検出のしきい値、およびモデル投資のための最小実行可能キャンペーン規模を計算する。
• モンテカルロ推定を用いて、さまざまなパrameter値の下での結果のシミュレーションと検証を行い、コードはGitHubで公開されている。

実験結果

リサーチクエスチョン

• RQ1 インフォーマル操作において、人間が作成するコンテンツに比べてコスト削減を実現するためには、LLMがどの程度の信頼性を達成する必要があるか？
• RQ2 オープンソースの代替手段が存在する場合、APIアクセス可能なLLMに対する監視制御は、悪意ある使用をどれほど効果的に抑止できるか？
• RQ3 独自にLLMを訓練する投資が経済的に実行可能になる最小キャンペーン規模はどの程度か？
• RQ4 どのような条件下で、国家主導の行動者はインフォーマルキャンペーンに特化した独自LLMを訓練することで、経済的利点を得られるか？

主な発見

• 信頼性が25％にさえ達するLLMであっても、プロパガンダ活動者にとってコスト削減効果をもたらすため、誤情報キャンペーンに経済的に実行可能である。
• 高い信頼性を持つLLM（例：90％の正確性）は、手作業による作成と比較して、コンテンツ生成コストを最大70％まで削減できる。
• オープンソースの代替手段が存在する場合、APIアクセス可能なLLMに対する監視制御は、抑止効果が限定的である。運用者は、低コストで監視のない代替手段に切り替えられるからである。
• 大規模なインフォーマルキャンペーンを実施する国家主導の行動者であっても、独自にLLMを訓練しても、顕著な経済的利点を得ることは難しい。
• APIアクセス可能なLLMの使用を抑止するための必要な検出レートは、モデルの性能と、オープンソースモデルを含む代替オプションの有無に依存する。
• 独自LLMへの投資が経済的に実行可能になる最小キャンペーン規模は、モデルの性能、固定コスト、および既存の代替手段の費用対効果に依存する。