[論文レビュー] Understanding the Political Ideology of Legislators from Social Media Images

Nan Miles Xi, Di Ma+4 more|arXiv (Cornell University)|Jul 22, 2019

Computational and Text Analysis Methods被引用数 12

ひとこと要約

本研究では、深層学習を用いて、米国の議員の政治的イデオロギー（共和党か民主党委員か）を、Facebookのプロフィール写真のみから分類する。1人の人物に対して複数枚の写真を集約することで、82.35％の正確性を達成した。モデルの予測は、従来のイデオロギー測定法と強く相関しており、保守的画像は制度的権威、支配的集団、高い喜びの感情を強調するが、リベラルな画像は多様性と進歩的象徴を特徴付ける。

ABSTRACT

In this paper, we seek to understand how politicians use images to express ideological rhetoric through Facebook images posted by members of the U.S. House and Senate. In the era of social media, politics has become saturated with imagery, a potent and emotionally salient form of political rhetoric which has been used by politicians and political organizations to influence public sentiment and voting behavior for well over a century. To date, however, little is known about how images are used as political rhetoric. Using deep learning techniques to automatically predict Republican or Democratic party affiliation solely from the Facebook photographs of the members of the 114th U.S. Congress, we demonstrate that predicted class probabilities from our model function as an accurate proxy of the political ideology of images along a left-right (liberal-conservative) dimension. After controlling for the gender and race of politicians, our method achieves an accuracy of 59.28% from single photographs and 82.35% when aggregating scores from multiple photographs (up to 150) of the same person. To better understand image content distinguishing liberal from conservative images, we also perform in-depth content analyses of the photographs. Our findings suggest that conservatives tend to use more images supporting status quo political institutions and hierarchy maintenance, featuring individuals from dominant social groups, and displaying greater happiness than liberals.

研究の動機と目的

• 議員のソーシャルメディア画像、特にFacebookのプロフィール写真における視覚的手がかりから、政治的イデオロギーを推定できるかどうかを調査すること。
• 衣装、象徴、顔の表情といった画像内の視覚的特徴が、リベラルまたは保守的政見とどの程度相関するかを評価すること。
• 画像からの党所属の特定において、人間と機械分類の正確性を比較し、特徴の解釈における違いを検討すること。
• 政治的コミュニケーションにおけるリベラルと保守の画像を区別する最も予測可能な視覚的要素を特定・分析すること。

提案手法

• 114期米国議会の議員のFacebookプロフィール写真のみを用いて、共和党か民主党かを分類するための畳み込みニューラルネットワーク（CNN）を採用した。
• 1人の人物に対して最大150枚の画像を集約することで予測の信頼性を高めるために、272人の議員からなるデータセットを用いてモデルを学習させた。
• DW-NOMINATEスコア（政治的イデオロギーを測定する基準としてのゴールドスタンダード）と照合してモデルの予測を検証し、画像ベースの予測と確立されたイデオロギー順位との間に強い相関があることを示した。
• 顕著な視覚的特徴（例：軍服、衣装、象徴（例：議会図書館）、人口統計的表現）を特定するため、高得点の画像を詳細に内容分析した。
• 人間のジャッジが画像をラベル付けし、その分類結果とモデルの出力を比較した。これにより、人間のバイアス（例：人種的ステレオタイプ）とモデルの限界（例：テキストの誤読、レアな象徴の誤認）を特定した。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、議員のFacebookプロフィール写真のみを用いて、党所属を正確に予測できるか？
• RQ2 画像からの党所属特定において、深層学習分類器の性能は人間の判断と比べてどうか？
• RQ3 衣装、象徴、顔の表情といった特定の視覚的特徴のうち、リベラルまたは保守的政見を最も強く予測するのはどれか？
• RQ4 画像ベースのイデオロギー予測は、DW-NOMINATEスコアといった確立されたイデオロギー測定法とどの程度相関するか？

主な発見

• 深層学習モデルは、1枚の写真からの分類で59.28％の正確性を示し、同じ議員の複数枚の写真の予測を集約した場合に82.35％の正確性に到達した。
• モデルの予測はDW-NOMINATEスコアと強く相関しており、左翼〜右翼の政治的イデオロギーを信頼できる代理指標としてモデル出力を検証した。
• 保守的画像は、制度的権威の象徴（例：議会図書館）、軍人、支配的で人種的・性別のグループに属する人物、そして高い喜びの感情を強調する傾向がある。
• リベラルな画像は、多様な人種的・民族的グループ、包摂の象徴（例：レインボーフラッグ）、子供や地域奉仕活動の描写を含む傾向がある。
• 人間は、まれなまたは文脈に特化した象徴（例：Habitat for HumanityのTシャツ）を解釈する点でモデルを上回ったが、同時に人種的・性別的ステレオタイプに基づくバイアスを示した。
• モデルは画像内のテキスト要因（例：'DEFUND OBAMACARE'）を認識できなかったが、人間は訓練データに頻出しなかったにもかかわらず、そのようなコンテンツを正しく解釈することがあった。