[論文レビュー] Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations

Josh A. Goldstein, Girish Sastry+4 more|arXiv (Cornell University)|Jan 10, 2023

Topic Modeling被引用数 146

ひとこと要約

本論文は、生成型言語モデルが影響作戦をどのように変革し得るかを評価し、kill-chain framework を用いて対策を概説し、唯一の解決策は存在せず、集団行動が必要であることを強調する。

ABSTRACT

Generative language models have improved drastically, and can now produce realistic text outputs that are difficult to distinguish from human-written content. For malicious actors, these language models bring the promise of automating the creation of convincing and misleading text for use in influence operations. This report assesses how language models might change influence operations in the future, and what steps can be taken to mitigate this threat. We lay out possible changes to the actors, behaviors, and content of online influence operations, and provide a framework for stages of the language model-to-influence operations pipeline that mitigations could target (model construction, model access, content dissemination, and belief formation). While no reasonable mitigation can be expected to fully prevent the threat of AI-enabled influence operations, a combination of multiple mitigations may make an important difference.

研究の動機と目的

• 言語モデルが影響作戦における対戦者、行動、内容をどのように変える可能性があるかを評価する。
• 影響キャンペーンのパイプライン全体にわたる潜在的な脅威とさまざまな対策を調査する。
• 重要な不確実性と、協調的な政策・技術・社会的対応の必要性を強調する。
• 対策を評価するための枠組みを提供し、研究の方向性を特定する。

提案手法

• 既存の誤情報研究の文献調査と統合。
• 多分野チームによるワークショップを通じた分析。
• 言語モデルに対してABCs of disinformation（Actors, Behaviors, Content）を適用する。
• モデルの構築・アクセス・内容普及・信念形成を跨ぐキルチェーンベースの対策フレームワークの開発。
• 脅威評価を地に足をつけて行うため、生成モデルの進展とアクセス拡散の文脈的考察。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは影響作戦を遂行する Actors をどのように変える可能性があるか。
• RQ2 言語モデルは影響作戦で用いられる行動や戦術をどのように変える可能性があるか。
• RQ3 言語モデルは影響キャンペーンで作成される内容とその影響をどのように変える可能性があるか。
• RQ4 AI対応の影響作戦の影響をパイプライン全体で効果的に減少させる対策は何か。
• RQ5 これらの対策を実装するために、どのようなガバナンスと協力メカニズムが必要か。

主な発見

• 将来、利便性・信頼性・効率性の向上により、言語モデルは影響作戦に有用である可能性が高い。
• AI対応の影響作戦を完全に防ぐ唯一の対策は存在せず、社会全体でのアプローチが必要である。
• 効果的な対策には、AI開発者、ソーシャルプラットフォーム、政府、市民社会が、作戦パイプラインの複数段階で協力することが必要となる。
• 対策は供給側（モデル設計・アクセス）と需要/拡散側（内容の出所、メディアリテラシー、プラットフォームの措置）の両方に対応するべきである。
• 最も根本的な選択肢（例えばインターネット出所の標準化）のようなものは極端な協調を要し望ましくない可能性があり、多くの対策はさらなる開発と精査を要する。
• 本報告は対策を枠組みで評価し、今後の研究の方向性を特定することを強調している。