[論文レビュー] Towards Measuring Adversarial Twitter Interactions against Candidates in the US Midterm Elections

Yiqing Hua, Thomas Ristenpart+1 more|arXiv (Cornell University)|May 9, 2020

Hate Speech and Cyberbullying Detection参考文献 29被引用数 13

ひとこと要約

本稿では、2018年の中間選挙における米国下院議員を標的にした、有毒な返信、身元攻撃、メッセージの繰り返しといった悪意ある相互作用を文脈に配慮した手法で検出する方法を提案する。Perspective APIと政党寄りのヒューリスティクス、および候補者固有の悪意ある語彙のための新規ラベル伝播アルゴリズムを組み合わせることで、一般の毒性モデルが見逃す文脈依存の微妙な攻撃を特定し、検出精度を向上させた。786名の候補者に関する170万件のツイートを分析した。

ABSTRACT

Adversarial interactions against politicians on social media such as Twitter have significant impact on society. In particular they disrupt substantive political discussions online, and may discourage people from seeking public office. In this study, we measure the adversarial interactions against candidates for the US House of Representatives during the run-up to the 2018 US general election. We gather a new dataset consisting of 1.7 million tweets involving candidates, one of the largest corpora focusing on political discourse. We then develop a new technique for detecting tweets with toxic content that are directed at any specific candidate.Such technique allows us to more accurately quantify adversarial interactions towards political candidates. Further, we introduce an algorithm to induce candidate-specific adversarial terms to capture more nuanced adversarial interactions that previous techniques may not consider toxic. Finally, we use these techniques to outline the breadth of adversarial interactions seen in the election, including offensive name-calling, threats of violence, posting discrediting information, attacks on identity, and adversarial message repetition.

研究の動機と目的

• 政治的候補者に対するTwitter上の悪意ある相互作用を特定する際、文脈に依存しない毒性検出の限界を是正すること。
• 政治的政党性と相互作用の文脈を組み込むことで、有毒なコンテンツの真の標的を推定し、検出精度を向上させること。
• 一般の言語モデルでは検出できない、微妙で個人に特化した攻撃形態を捉える候補者固有の悪意ある語彙を発見すること。
• 身元攻撃、脅し、誤情報、メッセージの繰り返しなどの悪意ある相互作用の広がりと種別を定量化すること。
• 政治的ディス course における悪意あるコンテンツをスケーラブルかつ高精度に検出するフレームワークを提供し、より健全なオンラインでの民主的参加を支援すること。

提案手法

• 最先端の言語ベースの毒性分類器であるPerspective APIと、ユーザーの政治的傾向を推定するためのヒューリスティクスを組み合わせ、有毒な返信の的確な標的を特定する。
• メンション、返信、リツイートなどの相互作用の文脈を用いて、有毒なコンテンツが特定の候補者を標的にしているかどうかを判断し、非標的攻撃による誤検出を低減する。
• 政治的ネットワークグラフ上でラベル伝播アルゴリズムを適用し、候補者固有の悪意ある語彙を発見する。これは、文脈上悪意あるが、本質的に有毒とは見なされない表現を特定する。
• 米国の政治の二極化構造（共和党 対 民主党）を代理指標として用い、曖昧な相互作用における標的推定を改善する。
• 人間のラベラーによる複段階のアノテーションパイプラインを採用し、検出結果の妥当性を検証し、悪意ある相互作用の種別を分類する。
• 786名の候補者を対象に170万件のツイートを分析し、毒性、身元攻撃、脅し、誤情報、メッセージの繰り返しのパターンに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 毒性が常にメンションされたユーザーまたは返信先ユーザーを標的にしているわけではない場合、Twitter上での悪意ある相互作用をどのようにより正確に検出できるか？
• RQ2 政治的政党性は、政治的候補者を標的にした指向性のある毒性検出の精度を向上させる上で、どのような役割を果たすか？
• RQ3 文脈に依存しない言語モデルが見逃す悪意ある相互作用の種類は何か？ それらは候補者固有の語彙を用いることでどのように特定可能になるか？
• RQ4 性別や党派所属といった候補者の属性は、受ける悪意ある相互作用の量にどのように相関するか？
• RQ5 悪意あるメッセージの繰り返しや身元に基づく攻撃は、政治的Twitterディス course における全体の毒性の状況にどの程度寄与しているか？

主な発見

• 候補者がTwitterで受ける注目度の総量が、悪意ある相互作用の強さを最も強く予測する要因であり、性別や党派所属の影響は顕著でない。
• Perspective APIに政党寄りのヒューリスティクスを組み合わせることで、特に返信やメンションの文脈において、非標的攻撃による誤検出を低減し、検出精度が向上した。
• 提案されたラベル伝播アルゴリズムは、一般モデルでは検出されない候補者固有の悪意ある語彙（例：個人を狙った侮辱や暗黙のスラング）を効果的に特定できた。
• 悪意ある相互作用の大部分は身元に基づく攻撃を含んでおり、ミスジニストスラングや人種的侮辱が含まれるが、これらは文脈的理解がなければ検出できない。
• 繰り返しの呼びかけ（例：辞任を求める発言）や捏造されたスキャンダルの繰り返しといった、メッセージの繰り返しは一般的な悪意ある戦術であり、ツイートの系列を分析しないと検出が困難である。
• 人間のラベラーは、多くの悪意ある相互作用が背景知識や文脈的解釈を要することを特定した。これは、高度なモデルでさえも自動検出に限界があることを示している。