[論文レビュー] Facebook Ads Monitor: An Independent Auditing System for Political Ads on Facebook

Márcio Silva, Lucas Santos de Oliveira+4 more|arXiv (Cornell University)|Jan 28, 2020

Social Media and Politics参考文献 24被引用数 72

ひとこと要約

本論文は、Facebook広告をブラウザ拡張機能で収集し、金標準にラベル付けし、CNNやその他のMLモデルを用いて政治広告を検出する独立監査システム「Facebook Ad Monitor」を提示し、FacebookのAd Library以外の未申告政治広告を暴露する。

ABSTRACT

The 2016 United States presidential election was marked by the abuse of targeted advertising on Facebook. Concerned with the risk of the same kind of abuse to happen in the 2018 Brazilian elections, we designed and deployed an independent auditing system to monitor political ads on Facebook in Brazil. To do that we first adapted a browser plugin to gather ads from the timeline of volunteers using Facebook. We managed to convince more than 2000 volunteers to help our project and install our tool. Then, we use a Convolution Neural Network (CNN) to detect political Facebook ads using word embeddings. To evaluate our approach, we manually label a data collection of 10k ads as political or non-political and then we provide an in-depth evaluation of proposed approach for identifying political ads by comparing it with classic supervised machine learning methods. Finally, we deployed a real system that shows the ads identified as related to politics. We noticed that not all political ads we detected were present in the Facebook Ad Library for political ads. Our results emphasize the importance of enforcement mechanisms for declaring political ads and the need for independent auditing platforms.

研究の動機と目的

• 選挙期間中のブラジルにおけるターゲット型政治広告のリスクを動機づけ、対処する。
• ボランティアを介して政治広告を監視する独立した監査プラットフォームを設計・展開する。
• 政治広告分類器を開発し、複数の機械学習モデルを評価する。
• 分類器の性能を金標準データセットと実世界の広告と比較する。
• 選挙の透明性のための独立監査の実現可能性と潜在的影響を示す。

提案手法

• ボランティアのFacebookタイムラインで表示される広告を収集するためにブラウザ拡張機能を適応させ、 'Why am I seeing this?' から広告の説明を取得した。
• 2つのデータセットを構築した：金標準の政治広告/非政治広告セットと、ブラジル広告から成る大規模なAdCollectorデータセット。
• 政治広告検出のために6つの分類器（CNN、SVM、ロジスティック回帰、ランダムフォレスト、ハッシュ化を用いたナイーブベイズ、勾配ブ boosting）を実装・比較した。
• 広告を表現するために Word2Vec 300次元の埋め込みを用い、120個のフィルターとドロップアウトを持つCNNを設計し、RMSPropで訓練した。
• 10分割交差検証を用いてモデルを評価し、精度・AUC・Macro-F1を報告した。現実の不均衡を反映するため低い偽陽性率の閾値を設定した。
• リアルタイムの政治広告検出器を展開し、Ad Libraryを超えて検出された広告を分析してカバレッジと実施要件を評価した。

実験結果

リサーチクエスチョン

• RQ1 独立監査プラットフォームはブラジルのFacebookから政治広告をどのように収集・分析できるか？
• RQ2 ポルトガル語のFacebookコンテンツで最も広告検出に適した機械学習モデルはどれか？
• RQ3 検出された政治広告セットはカバレッジの点でFacebook Ad Libraryとどのように比較されるか？
• RQ4 現実の不均衡データセットにおいて真陽性と偽陽性のバランスをとる閾値はどれか？
• RQ5 政治広告開示の政策と執行における影響は何か？

主な発見

• CNNなどのモデルはほぼ均衡に近い金標準で約94%の高い精度を達成する。
• CNNとナイーブベイズはAUC値が約0.98～0.99、Macro-F1は約0.94を示す。
• 偽陽性率を1%に設定した場合、CNNは真陽性率78%、ナイーブベイズは85%；3%ではCNNが90%、ナイーブベイズが95%。
• AdCollectorデータセットは選挙期間中に38,110件のポルトガル語広告のうち835件が政治広告として見つかり、Facebook Ad Libraryを越える未申告の政治内容を示している。
• 検出された政治広告の一部はAd Libraryに存在していたが、多くは存在せず、開示メカニズムの執行ギャップを強調している。
• 本研究は選挙の透明性のための独立監査プラットフォームの実現可能性と潜在的な肯定的影響を示している。