[論文レビュー] Predicting the Politics of an Image Using Webly Supervised Data

Christopher Thomas, Adriana Kovashka|arXiv (Cornell University)|Oct 31, 2019

Computational and Text Analysis Methods被引用数 8

ひとこと要約

本稿では、ウェブリー監視データを用いてニュース画像の政治的バイアスを予測する二段階の弱教師付き手法を提案する。訓練段階では、画像と関連する記事本文のペアからバイアスを推定し、その後は画像のみから分類する。本手法は、テキストをプライベート情報として活用することで、識別的な視覚的コンセプトを学習し、ウェブリー監視およびクラウドソーシングされたテストセットの両方で最先端の性能を達成し、強力なベースラインを上回る。

ABSTRACT

The news media shape public opinion, and often, the visual bias they contain is evident for human observers. This bias can be inferred from how different media sources portray different subjects or topics. In this paper, we model visual political bias in contemporary media sources at scale, using webly supervised data. We collect a dataset of over one million unique images and associated news articles from left- and right-leaning news sources, and develop a method to predict the image's political leaning. This problem is particularly challenging because of the enormous intra-class visual and semantic diversity of our data. We propose a two-stage method to tackle this problem. In the first stage, the model is forced to learn relevant visual concepts that, when joined with document embeddings computed from articles paired with the images, enable the model to predict bias. In the second stage, we remove the requirement of the text domain and train a visual classifier from the features of the former model. We show this two-stage approach facilitates learning and outperforms several strong baselines. We also present extensive qualitative results demonstrating the nuances of the data.

研究の動機と目的

• 弱教師付き学習を用いて、現代のニュースメディアにおける視覚的政治的バイアスをスケールアップしてモデル化すること。
• 左寄りおよび右寄りメディアの画像に見られる高いクラス内視覚的・意味的多様性の課題に対処すること。
• 政治的バイアス予測のための、文脈に補完的な識別的な視覚的コンセプトを学習する手法を開発すること。
• 訓練段階でペアドテキストを用いた後、画像のみでゼロショットの政治的バイアス分類を可能にすること。
• 大規模なデータセットと、ニュース画像における人間アノテーションによる政治的バイアスの分析を提供すること。

提案手法

• 本手法は二段階の訓練プロセスを用いる：最初の段階では、ペアド記事からの画像特徴量とドキュメント埋め込みを用いて、政治的バイアスを予測するための統合的画像・テキストモデルを訓練する。
• 二段階目では、最初の段階で得られた画像エンコーダーを特徴抽出器として微調整し、テキストなしで画像特徴量のみを用いて線形分類器を訓練する。
• テキスト埋め込みは、記事本文を入力とするニューラルネットワークによって計算され、視覚的特徴量学習を補助的に誘導する。
• モデルは、政治的バイアスと相関する顕著な視覚的手がかり（例えば、有名人の顔、ニュースネットワークのロゴ）に注目するように学習する。
• Grad-CAM++ を用いて視覚的説明を生成し、注目マップを解釈し、モデルの挙動を検証する。
• 弱教師付き学習を活用する：訓練段階では、インスタンスレベルの画像アノテーションではなく、ソースレベルの政治的ラベル（左/右）のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルは、弱教師付きのソースレベルのラベルとペアド記事本文のみを用いて、画像の政治的バイアスを予測できるか？
• RQ2 テキスト誘導による学習で得た視覚的特徴量は、テキストなしで学習された特徴量と比較して、バイアス分類精度においてどのように異なるか？
• RQ3 左寄りと右寄りの画像を区別する際、モデルはどのような視覚的コンセプト（例：顔、ロゴ、表情）に注目するか？
• RQ4 人間アノテーションのラベルは、モデルの予測とどの程度一致するか？また、ウェブリー監視ベースラインと比較してどうか？
• RQ5 同じ被写体（例：トランプ、クリントン）の繊細な表現が、政治的スペクトルによってどのように視覚的に異なるか？

主な発見

• 提案手法の二段階アプローチは、大規模なウェブリー監視テストセットおよび小規模だが高品質なクラウドソーシングアノテーションセットの両方で、複数の強力なベースラインを上回る性能を達成した。
• モデルは、有名人の顔やニュースネットワークのロゴといった重要な視覚的手がかりに注目するように学習しており、これらは政治的バイアスの強力な指標である。
• Grad-CAM++ を用いた視覚的説明では、モデルが一般的なシーン特徴や物体ではなく、意味的に意味のある要素（ロゴ、顔など）に注目していることが示された。
• 本手法は、微細な表現を効果的に捉えている：例えば、トランプは左寄りのメディアでは怒った表情で、右寄りのメディアでは親しみやすい表情で描かれており、各メディアで一貫した視覚的パターンが見られた。
• モデルは強力なゼロショット一般化性能を示し、テキスト誘導型の教師付き学習を経た後、テキストなしで画像のみの分類においても高い精度を達成した。
• 定性的な分析から、左寄りと右寄りのメディアで同じトピック（例：BLM、気候変動）の画像はしばしば視覚的に類似しているが、表情、構図、象徴的要素といった微細な違いがあることが明らかになった。