[논문 리뷰] Image as Data: Automated Visual Content Analysis for Political Science

Jungseock Joo, ZACHARY STEINERT-THRELKELD|arXiv (Cornell University)|2018. 10. 03.

Computational and Text Analysis Methods참고 문헌 47인용 수 66

한 줄 요약

이 논문은 컴퓨터 비전과 딥 러닝을 사용한 자동 시각 콘텐츠 분석을 통해 정치 현상을 대규모로 연구하고, 한국과 홍콩의 항의 이미지 사례로 응용을 시연한다.

ABSTRACT

Image data provide unique information about political events, actors, and their interactions which are difficult to measure from or not available in text data. This article introduces a new class of automated methods based on computer vision and deep learning which can automatically analyze visual content data. Scholars have already recognized the importance of visual data and a variety of large visual datasets have become available. The lack of scalable analytic methods, however, has prevented from incorporating large scale image data in political analysis. This article aims to offer an in-depth overview of automated methods for visual content analysis and explains their usages and implementations. We further elaborate on how these methods and results can be validated and interpreted. We then discuss how these methods can contribute to the study of political communication, identity and politics, development, and conflict, by enabling a new set of research questions at scale.

연구 동기 및 목표

• 정치 이미지를 대상으로 수동 시각 분석에서 확장 가능한 자동 분석 방법으로의 전환을 동기화한다.
• 정치 과학 데이터에 적용 가능한 핵심 컴퓨터 비전 및 딥 러닝 기술을 요약한다.
• 시각 콘텐츠 분석의 검증, 해석 및 잠재적 연구 응용에 대해 설명한다.

제안 방법

• 이미지 데이터와 관련된 컴퓨터 비전 및 딥 러닝 기초에 대한 개요를 제시한다.
• 인공 신경망과 합성곱 신경망(CNN) 및 그 훈련 역학을 설명한다.
• 핵심 CNN 구성요소(합성곱 층, 비선형 층, 풀링 층, 완전 연결 층)와 이미지 과제에서의 역할을 설명한다.
• 전이 학습 및 시각화 방법을 포함한 훈련, 검증 및 해석 전략을 논의한다.
• 한국과 홍콩의 항의 이미지를 분석하는 데모를 통해 접근 방식을 설명한다.

실험 결과

연구 질문

• RQ1 자동 시각 콘텐츠 분석을 정치 과학에 어떻게 적용해 이미지를 대규모로 분석할 수 있는가?
• RQ2 정치 이미지 데이터에 적합한 필수 딥 러닝 기법은 무엇이며 어떻게 학습하고 검증할 수 있는가?
• RQ3 시각 콘텐츠 분석의 결과를 정치 연구 맥락에서 어떻게 해석하고 검증할 수 있는가?
• RQ4 대규모 이미지 데이터가 다룰 수 있는 정치 과학 질문은 어떤 것들이 있는가(예: 항의, 정체성, 갈등)?

주요 결과

• 자동 시각 방법은 수동 주석을 넘어 정치 이미지를 확장 가능한 분석 가능하게 한다.
• CNN 및 딥 러닝은 원시 이미지에서 핸드캐드된 특징 없이도 강력한 엔드 투 엔드 학습을 제공한다.
• 시각화 및 전이 학습 기법은 정치 과제에 맞춰 모델을 해석하고 적응하는 데 도움을 준다.
• 이 논문은 한국과 홍콩의 항의 이미지 분석 사례를 개념 증명으로 시연한다.