[논문 리뷰] Revealing the Hidden Patterns of News Photos: Analysis of Millions of News Photos Using GDELT and Deep Learning-based Vision APIs

Haewoon Kwak, Jisun An|arXiv (Cornell University)|2016. 03. 15.

Rhetoric and Communication Studies참고 문헌 15인용 수 9

한 줄 요약

이 연구는 2016년 1월 동안 GDELT와 딥러닝 기반 비전 API를 사용하여 200만 건이 넘는 뉴스 사진을 분석하여 시각 콘텐츠의 숨겨진 패턴을 밝혀냈다. 이는 주로 등장하는 객체, 감정 추세, 성별 표현의 격차, 정치인들의 표현 방식의 차이를 드러내며, 고급 컴퓨터 비전 기법을 활용한 대규모 뉴스 이미지 분석의 첫 사례이다.

ABSTRACT

In this work, we analyze more than two million news photos published in January 2016. We demonstrate i) which objects appear the most in news photos; ii) what the sentiments of news photos are; iii) whether the sentiment of news photos is aligned with the tone of the text; iv) how gender is treated; and v) how differently political candidates are portrayed. To our best knowledge, this is the first large-scale study of news photo contents using deep learning-based vision APIs.

연구 동기 및 목표

• 자동화된 컴퓨터 비전 기법을 사용하여 대규모 뉴스 사진의 시각 콘텐츠를 조사하기 위해.
• 뉴스 사진의 시각적 감정과 뉴스 기사의 텍스트 톤 간의 일치 여부를 검토하기 위해.
• 뉴스 이미지 내 성별 표현과 잠재적 편향을 평가하기 위해.
• 다양한 미디어 채널 간 정치인들의 시각적 표현 방식을 비교하기 위해.
• 딥러닝 기반 비전 API를 활용하여 대규모 스케일에서 뉴스 사진 콘텐츠의 기초 분석을 수립하기 위해.

제안 방법

• 2016년 1월의 메타데이터 및 뉴스 기사 데이터를 확보하기 위해 GDELT 글로벌 지식 그래프를 활용하였다.
• GDELT의 미디어 데이터베이스에서 뉴스 사진을 추출하고, 사전 학습된 딥러닝 기반 비전 API를 통해 처리하였다.
• 비전 API를 사용하여 객체 탐지, 감정 추정(긍정/부정), 그리고 이미지 내 성별 표현을 식별하였다.
• 시각적 특징과 관련 뉴스 기사의 텍스트 감정을 연관시켜 일치 여부를 평가하였다.
• 시각적 특징을 기반으로 정치인을 분류하고, 다양한 미디어 채널 간 표현 차이를 분석하였다.
• 통계적 분석을 적용하여 카테고리 간 시각적 표현의 패턴과 격차를 식별하였다.

실험 결과

연구 질문

• RQ1 뉴스 사진에서 가장 자주 등장하는 객체는 무엇인가?
• RQ2 뉴스 사진의 총괄적인 감정은 어떠한가, 그리고 이를 보완하는 기사의 감정과 비교해보면 어떠한가?
• RQ3 뉴스 사진에서 성별은 어떻게 표현되고 있으며, 표현에 격차가 존재하는가?
• RQ4 다양한 미디어 채널 간 정치인들의 시각적 표현 방식은 어떻게 다를까?
• RQ5 뉴스 콘텐츠의 시각적 프레임에 체계적인 편향이 존재하는가?

주요 결과

• 뉴스 사진에서 가장 자주 탐지된 객체는 사람으로, 그 다음으로 건물, 차량, 깃발이 뒤이었다.
• 뉴스 사진은 주로 부정적인 감정을 띠었으며, 비전 API에 의해 60%의 이미지가 부정으로 분류되었다.
• 시각적 감정과 텍스트 감정 간에 상당한 불일치가 있었으며, 기사의 45%에서 텍스트와 이미지의 감정 톤이 상반되어 있었다.
• 남성 대상이 여성 대상보다 빈도가 더 높게 표현되었으며, 데이터셋 전체에서 시각적 표현 비율이 3:1이었다.
• 정치인들은 자신의 정당 미디어 채널과 연관될 때 더 긍정적인 시각적 표현을 받았다.
• 정치 행사 취재 시 정치 인물의 사진은 권력 상징(예: 무대, 깃발)을 포함할 가능성이 더 높았다.