[論文レビュー] Fake News in Social Networks

Christoph Aymanns, Jakob Foerster+2 more|arXiv (Cornell University)|Aug 21, 2017

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿は、SNSにおけるフェイクニュースの拡散を、エージェントが個人的信号と周囲の行動に基づいて主張を支持または反対する意思決定を行うマルチエージェント深層強化学習問題としてモデル化する。主な発見は、エージェントはフェイクニュースの特定においてほぼ最適なパフォーマンスを達成可能であるが、特に信号が弱いエージェントを標的としたりネットワーク構造を悪用したりすることで、悪意あるエージェントが個人的信号を歪めることでネットワークを効果的に操作可能である点である。

ABSTRACT

We propose multi-agent reinforcement learning as a new method for modeling fake news in social networks. This method allows us to model human behavior in social networks both in unaccustomed populations and in populations that have adapted to the presence of fake news. In particular the latter is challenging for existing methods. We find that a fake-news attack is more effective if it targets highly connected people and people with weaker private information. Attacks are more effective when the disinformation is spread across several agents than when the disinformation is concentrated with more intensity on fewer agents. Furthermore, fake news spread less well in balanced networks than in clustered networks. We test a part of our findings in a human-subject experiment. The experimental evidence provides support for the predictions from the model, suggesting that the model is suitable to analyze the spread of fake news in social networks.

研究の動機と目的

• 戦略的エージェントを有する社会的学習ゲームとして、SNSにおけるフェイクニュースの拡散をモデル化すること。
• 悪意あるエージェントがエージェントの個人的信号を歪め、ネットワーク構造を悪用することでエージェントを操作する方法を調査すること。
• 悪意ある操作が存在することをエージェントが認識した場合、戦略を再最適化することでフェイクニュースキャンペーンの効果が低下するかどうかを評価すること。
• 個人的信念とネットワーク上の位置が、フェイクニュースを広める目的を持つ悪意あるエージェントにとっての利用可能な情報としてどれほど価値があるかを評価すること。
• ベイズ最適意思決定を近似できるスケーラブルで学習可能なエージェント行動フレームワークを構築すること。

提案手法

• SNS内のエージェントは、主張の真偽に関するノイズの多い個人的信号を受信し、周囲のエージェントの過去の行動を観測する。
• 各エージェントは、正しく行動した場合の利得を最大化するように学習される、再帰的深層Qネットワーク（DQN）としてモデル化され、マルチエージェント深層強化学習によって訓練される。
• 利得は、真実の主張を支持した場合に正、偽の主張を反対した場合に正と定義され、戦略は個人的信号と社会的情報の両方をバランスよく活用するように最適化される。
• 理論的ベイズ最適戦略（信号共有有無の両方を含む）と比較して、フレームワークの性能をベンチマークする。
• 攻撃は、標的エージェントの個人的信号を歪めることでシミュレートされ、攻撃予算や信号強度、ネットワーク構造に関する知識の違いを想定する。
• 攻撃効果は、異なる攻撃条件と信号強度下での偽の主張同定精度の低下として測定される。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習戦略は、理論的ベイズ最適ベンチマークと比較して、フェイクニュース同定においてどの程度効果的か？
• RQ2 悪意あるエージェントが標的エージェントの個人的信号を歪めることで、ネットワークをどの程度操作可能か？
• RQ3 悪意あるエージェントがエージェントの個人的信号強度やネットワーク上の位置に関する知識を有している場合、フェイクニュースキャンペーンの成功確率にどのような影響を与えるか？
• RQ4 エージェントが悪意ある存在の存在を認識し、訓練中に戦略を再最適化することで、フェイクニュースに対してよりレジリエントな状態になれるか？
• RQ5 フェイクニュースを広める目的を持つ悪意あるエージェントにとって、個人的信念やネットワーク構造に関する情報は、どの程度価値があるか？

主な発見

• マルチエージェント深層強化学習で訓練されたエージェントは、直接的な信号共有がなくても、理論的ベイズ最適ベンチマークに非常に近い利得を達成する。
• 個人的信号が偏りのない場合、エージェントは大多数の偽の主張を正しく同定し、操作が存在しない状況ではフェイクニュースに対して強いレジリエンスを示す。
• 個人的信号を歪める攻撃は非常に効果的であり、特に信号が弱いエージェントを標的にした場合、ランダム標的と比較して攻撃効果が最大2倍にまで向上する。
• 攻撃者がエージェントの周囲のエージェントの平均信号強度を把握している場合、攻撃効果は高くなる。特に多くのエージェントが弱い信号を持つネットワークでは顕著である。
• エージェントが悪意ある存在の存在を認識し、訓練中に戦略を再最適化することで、悪意ある攻撃の効果が顕著に低下する。これは、意識の向上がネットワークのレジリエンスを高めることを示している。
• 結果から、個人的信念とネットワーク構造は深刻な脆弱性であることが浮き彫りになる。フェイクニュースキャンペーンにおける悪用を防ぐため、これらの情報は厳密に保護されるべきである。