[論文レビュー] Revealing the Hidden Patterns of News Photos: Analysis of Millions of News Photos Using GDELT and Deep Learning-based Vision APIs

Haewoon Kwak, Jisun An|arXiv (Cornell University)|Mar 15, 2016

Rhetoric and Communication Studies参考文献 15被引用数 9

ひとこと要約

本研究では、2016年1月のGDELTと深層学習ベースのビジョンAPIを用いて、200万枚を超えるニュース写真を分析し、視覚的コンテンツにおける隠れたパターンを解明した。対象は、支配的とされるオブジェクト、感情の傾向、性別表現の格差、政治的候補者の異なる描写を明らかにした。これは、先進的なコンピュータビジョン技術を用いたニュース画像の大規模分析として初の試みである。

ABSTRACT

In this work, we analyze more than two million news photos published in January 2016. We demonstrate i) which objects appear the most in news photos; ii) what the sentiments of news photos are; iii) whether the sentiment of news photos is aligned with the tone of the text; iv) how gender is treated; and v) how differently political candidates are portrayed. To our best knowledge, this is the first large-scale study of news photo contents using deep learning-based vision APIs.

研究の動機と目的

• 自動化されたコンピュータビジョンを用いて、大規模なニュース写真の視覚的コンテンツを調査すること。
• ニュース写真の視覚的感情とニュース記事の文章のトーンとの整合性を検証すること。
• ニュース画像における性別表現と潜在的なバイアスを評価すること。
• メディア機関ごとの政治的候補者の視覚的描写の違いを比較すること。
• 深層学習ベースのビジョンAPIを大規模に活用して、ニュース写真のコンテンツに関する基盤的分析を確立すること。

提案手法

• 2016年1月のGDELTグローバル・ナレッジグラフを活用し、メタデータおよびニュース記事データを収集した。
• GDELTのメディアデータベースからニュース写真を抽出し、事前に学習された深層学習ベースのビジョンAPIを用いて処理した。
• ビジョンAPIを用いて、オブジェクトの検出、感情の推定（肯定的／否定的）、画像内における性別の表現を特定した。
• 視覚的特徴と関連するニュース記事の文章感情を照合し、整合性を評価した。
• 視覚的特徴に基づいて政治的候補者を分類し、メディア機関ごとの描写の違いを分析した。
• 統計的分析を適用して、カテゴリごとの視覚的表現におけるパターンと格差を同定した。

実験結果

リサーチクエスチョン

• RQ1 ニュース写真に最も頻繁に登場するオブジェクトは何か？
• RQ2 ニュース写真の全体的な感情は何か？ また、それに伴う文章のトーンと比較するとどうなるか？
• RQ3 ニュース写真における性別表現はどのようなものか？ また、表現に格差は存在するか？
• RQ4 メディア機関ごとに政治的候補者の視覚的描写はどのように異なるか？
• RQ5 ニュースコンテンツの視覚的フレーミングに体系的なバイアスは存在するか？

主な発見

• ニュース写真で最も頻繁に検出されたオブジェクトは人物であり、その後に建物、車両、旗が続く。
• ニュース写真は主に否定的な感情を示しており、ビジョンAPIによる分類で60％の画像が否定的と判定された。
• 視覚的感情と文章のトーンの間には顕著な不整合があり、45％の記事で文章と画像の感情トーンが相反していた。
• 男性被写体が女性被写体よりも頻繁に描写されており、データセット全体で視覚的表現の比率は3:1であった。
• 政治的候補者は、自党のメディア機関と関連付けられた際、より肯定的な視覚的描写を受けていた。
• 政治的イベントを報じる際、政治的人物の写真には、権力の象徴（例：ステージ、旗）がより多く含まれていた。