[论文解读] Image as Data: Automated Visual Content Analysis for Political Science

Jungseock Joo, ZACHARY STEINERT-THRELKELD|arXiv (Cornell University)|Oct 3, 2018

Computational and Text Analysis Methods参考文献 47被引用 66

一句话总结

这篇论文介绍使用计算机视觉和深度学习进行自动化视觉内容分析，以在大规模研究政治现象，并演示其在韩国和香港的抗议图像中的应用。

ABSTRACT

Image data provide unique information about political events, actors, and their interactions which are difficult to measure from or not available in text data. This article introduces a new class of automated methods based on computer vision and deep learning which can automatically analyze visual content data. Scholars have already recognized the importance of visual data and a variety of large visual datasets have become available. The lack of scalable analytic methods, however, has prevented from incorporating large scale image data in political analysis. This article aims to offer an in-depth overview of automated methods for visual content analysis and explains their usages and implementations. We further elaborate on how these methods and results can be validated and interpreted. We then discuss how these methods can contribute to the study of political communication, identity and politics, development, and conflict, by enabling a new set of research questions at scale.

研究动机与目标

• 将从手工视觉分析转向可扩展的自动化方法，以分析政治图像的动机
• 概述适用于政治科学数据的核心计算机视觉和深度学习技术
• 解释视觉内容分析的验证、解释和潜在研究应用

提出的方法

• 提供与图像数据相关的计算机视觉和深度学习基础的概述
• 描述人工神经网络和卷积神经网络（CNN）及其训练动态
• 解释关键的CNN组成部分（卷积、非线性、池化和全连接层）及其在图像任务中的作用
• 讨论训练、验证和解释策略，包括迁移学习和可视化方法
• 通过一个演示来说明该方法，分析韩国和香港的抗议图像

实验结果

研究问题

• RQ1 如何将自动化视觉内容分析应用于政治科学，以在大规模分析图像？
• RQ2 哪些是适合政治图像数据的基本深度学习技术，以及如何对其进行训练和验证？
• RQ3 如何在政治研究语境中解释和验证视觉内容分析的结果？
• RQ4 大规模图像数据能帮助回答哪些政治学问题（如抗议、身份、冲突）？

主要发现

• 自动化视觉方法使政治图像的可扩展分析成为可能，超越手工注释
• CNNs和深度学习提供对原始图像的强大端到端学习，而无需手工特征
• 可视化和迁移学习技术有助于解释和将模型应用于政治任务
• 论文以韩国和香港的抗议图像分析案例作为概念验证