[논문 리뷰] Understanding the Political Ideology of Legislators from Social Media Images

Nan Miles Xi, Di Ma외 4명|arXiv (Cornell University)|2019. 07. 22.

Computational and Text Analysis Methods인용 수 12

한 줄 요약

이 연구는 깊이 있는 학습을 사용하여 미국의 의회 의원들의 정치적 이념—공화당 또는 민주당—을 그들의 페이스북 프로필 사진만으로 분류한다. 개인당 여러 장의 사진을 종합함으로써 82.35%의 정확도를 달성한다. 모델의 예측은 전통적인 이념 측정 방식과 강하게 상관되며, 보수적 이미지는 기관의 권위, 지배적인 사회 집단, 그리고 더 높은 행복감을 강조하는 반면, 진보적 이미지는 다양성과 진보적 상징을 담고 있다.

ABSTRACT

In this paper, we seek to understand how politicians use images to express ideological rhetoric through Facebook images posted by members of the U.S. House and Senate. In the era of social media, politics has become saturated with imagery, a potent and emotionally salient form of political rhetoric which has been used by politicians and political organizations to influence public sentiment and voting behavior for well over a century. To date, however, little is known about how images are used as political rhetoric. Using deep learning techniques to automatically predict Republican or Democratic party affiliation solely from the Facebook photographs of the members of the 114th U.S. Congress, we demonstrate that predicted class probabilities from our model function as an accurate proxy of the political ideology of images along a left-right (liberal-conservative) dimension. After controlling for the gender and race of politicians, our method achieves an accuracy of 59.28% from single photographs and 82.35% when aggregating scores from multiple photographs (up to 150) of the same person. To better understand image content distinguishing liberal from conservative images, we also perform in-depth content analyses of the photographs. Our findings suggest that conservatives tend to use more images supporting status quo political institutions and hierarchy maintenance, featuring individuals from dominant social groups, and displaying greater happiness than liberals.

연구 동기 및 목표

• 의회 의원들의 소셜 미디어 이미지에서 정치적 이념을 추론할 수 있는지, 특히 페이스북 프로필 사진의 시각적 단서를 통해 이를 조사한다.
• 옷, 상징, 표정과 같은 이미지의 시각적 특징이 진보적 또는 보수적 정치 성향과 얼마나 관련이 있는지 평가한다.
• 이미지에서 정당 소속을 식별할 때 인간과 기계의 분류 정확도를 비교하고, 특징 해석 방식의 차이를 분석한다.
• 정치 커뮤니케이션에서 진보적과 보수적 이미지를 구분하는 데 가장 예측 가능한 시각적 요소를 특정하고 분석한다.

제안 방법

• 의회 의원의 정당 소속(공화당 또는 민주당)을 페이스북 프로필 사진만으로 분류하기 위해 합성곱 신경망(CNN)을 사용한다.
• 개인당 최대 150장의 이미지를 종합한 점수를 사용하여, 272명의 의원으로 구성된 데이터셋을 기반으로 모델을 훈련시켜 예측 신뢰도를 향상시킨다.
• 모델의 예측 결과를 정치적 이념 측정의 금표로 간주되는 DW-NOMINATE 점수와 비교하여, 이미지 기반 예측과 기존의 이념 순위 간 강한 상관관계를 입증한다.
• 높은 점수를 받은 이미지의 깊이 있는 내용 분석을 통해 군대 복장, 옷, 상징(예: 의회 의사당), 인구 통계적 표현과 같은 주목할 만한 시각적 특징을 식별한다.
• 인간 평가자들이 이미지를 레이블링하고 모델 출력 결과와 비교하여, 인간의 편향(예: 인종적 고정관념)과 모델의 한계(예: 텍스트나 희귀 상징을 잘못 읽음)를 파악한다.

실험 결과

연구 질문

• RQ1 기계 학습을 사용해 의회 의원의 페이스북 프로필 사진만으로 정당 소속을 정확하게 예측할 수 있는가?
• RQ2 이미지에서 정당 소속을 식별할 때 딥 러닝 분류기의 성능이 인간의 판단과 비교해 어떻게 다른가?
• RQ3 옷, 상징, 표정과 같은 특정 시각적 특징 중에서 진보적 또는 보수적 정치 이념을 가장 잘 예측하는 것은 무엇인가?
• RQ4 이미지 기반의 이념 예측이 DW-NOMINATE 점수와 같은 기존의 이념 측정 방식과 얼마나 관련이 있는가?

주요 결과

• 딥 러닝 모델은 단일 사진으로는 59.28%의 정확도를 기록했고, 동일한 의원의 여러 장의 사진 예측을 종합했을 때는 82.35%의 정확도를 달성했다.
• 모델의 예측 결과는 DW-NOMINATE 점수와 강하게 상관되어 있어, 모델의 출력 결과가 좌우 정치 이념을 신뢰할 만한 대체 측정 수단으로 활용될 수 있음을 입증했다.
• 보수적 이미지는 기관의 권위 상징(예: 의회 의사당), 군인, 지배적인 인종 및 성별 집단 소속자, 그리고 더 높은 행복감 표현을 더 자주 포함했다.
• 진보적 이미지는 다양한 인종 및 민족 집단, 포함을 상징하는 상징(예: 레이디버그 플래그), 어린이 또는 지역 사회 봉사 활동을 묘사한 이미지를 더 자주 포함했다.
• 인간은 희귀하거나 맥락에 특화된 상징(예: Habitat for Humanity 티셔츠)을 더 잘 이해했지만, 동시에 인종 및 성별 기반 고정관념을 보이는 경향이 있었다.
• 모델는 이미지 내 텍스트 요소(예: 'DEFUND OBAMACARE')를 인식하지 못했지만, 인간은 훈련 데이터에서 시각적 빈도가 낮음에도 불구하고 종종 이러한 내용을 정확히 해석했다.