[논문 리뷰] Predicting the Politics of an Image Using Webly Supervised Data

Christopher Thomas, Adriana Kovashka|arXiv (Cornell University)|2019. 10. 31.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

이 논문은 웹리 서프비즈드 데이터를 사용하여 뉴스 이미지의 정치적 성향을 예측하기 위해 이중 단계의 약한 지도 학습 방법을 제안한다. 여기서 이미지 편향은 훈련 중에 쌍으로 연결된 기사 텍스트에서 유추되며, 이후에는 텍스트 없이 이미지만으로 분류된다. 이 방법은 텍스트를 특권 정보로 활용하여 구분 가능한 시각적 개념을 학습함으로써 강력한 베이스라인을 초월하며, 웹리 서프비즈드 및 커뮤니티 기반 테스트 세트에서 최신 기술 성능을 달성한다.

ABSTRACT

The news media shape public opinion, and often, the visual bias they contain is evident for human observers. This bias can be inferred from how different media sources portray different subjects or topics. In this paper, we model visual political bias in contemporary media sources at scale, using webly supervised data. We collect a dataset of over one million unique images and associated news articles from left- and right-leaning news sources, and develop a method to predict the image's political leaning. This problem is particularly challenging because of the enormous intra-class visual and semantic diversity of our data. We propose a two-stage method to tackle this problem. In the first stage, the model is forced to learn relevant visual concepts that, when joined with document embeddings computed from articles paired with the images, enable the model to predict bias. In the second stage, we remove the requirement of the text domain and train a visual classifier from the features of the former model. We show this two-stage approach facilitates learning and outperforms several strong baselines. We also present extensive qualitative results demonstrating the nuances of the data.

연구 동기 및 목표

• 약한 지도 학습을 활용하여 현대 뉴스 미디어의 시각적 정치 편향을 대규모로 모델링하기 위해.
• 좌익 및 우익 성향을 가진 뉴스 이미지에서 높은 내부 클래스 시각적 및 의미적 다양성 문제를 해결하기 위해.
• 정치적 편향 예측을 위한 텍스트적 맥락을 보완하는 구분 가능한 시각적 개념을 학습하는 방법을 개발하기 위해.
• 쌍으로 연결된 기사 텍스트로 훈련한 후, 이미지만으로도 제로샷 정치 편향 분류를 가능하게 하기 위해.
• 대규모 데이터셋과 뉴스 이미지의 인간 레이블링된 정치 편향에 대한 분석을 제공하기 위해.

제안 방법

• 이 방법은 이중 단계 훈련 프로세스를 사용한다: 첫 번째 단계에서는 이미지 특징과 쌍으로 연결된 기사의 문서 임베딩을 사용하여 정치적 편향을 예측하는 공동 이미지-텍스트 모델을 훈련시킨다.
• 두 번째 단계에서는 첫 번째 단계에서 얻은 이미지 인코더를 특징 추출기로 미세조정하고, 텍스트 없이도 시각적 특징만으로 추론하기 위한 선형 분류기를 훈련시킨다.
• 기사 텍스트에 신경망을 적용하여 텍스트 임베딩을 계산함으로써, 시각적 특징 학습을 안내하는 보조적 지도 정보를 제공한다.
• 모델은 정치적 편향과 관련된 주요 시각적 단서—예: 공적 인물의 얼굴이나 뉴스 방송국 로고—에 주목하도록 학습된다.
• 시각적 설명은 Grad-CAM++를 사용하여 생성되며, 주목 맵을 해석하고 모델 행동을 검증한다.
• 이 방법은 약한 지도 학습을 활용한다: 훈련 중에는 인스턴스 수준의 이미지 레이블이 아닌, 소스 수준의 정치적 레이블(좌/우)만 사용된다.

실험 결과

연구 질문

• RQ1 모델은 약한 소스 수준의 레이블과 쌍으로 연결된 기사 텍스트만을 사용하여 이미지의 정치적 편향을 예측할 수 있는가?
• RQ2 텍스트 지도를 받은 시각적 특징과 고립된 상태에서 학습된 특징 간의 정치 편향 분류 정확도는 어떻게 비교되는가?
• RQ3 좌익 대비 우익 이미지를 구분할 때 모델이 주목하는 시각적 개념(예: 얼굴, 로고, 표정 등)은 무엇인가?
• RQ4 인간 레이블러의 레이블은 모델 예측과 어느 정도 일치하는가? 그리고 웹리 서프비즈드 베이스라인과 비교해보면 어떻게 되는가?
• RQ5 동일한 주제(예: 트럼프, 클린턴)를 둘러싼 시각적 표현이 정치 스펙트럼에 따라 어떻게 다를 수 있는가?

주요 결과

• 제안된 이중 단계 방법은 대규모 웹리 서프비즈드 테스트 세트와 더 작은 고품질 커뮤니티 기반 레이블 세트에서 여러 강력한 베이스라인을 초월한다.
• 모델은 정치적 편향의 강력한 지표인 공적 인물의 얼굴과 뉴스 방송국 로고와 같은 핵심 시각적 단서에 주목하도록 학습된다.
• Grad-CAM++를 통한 시각적 설명은 모델이 일반적인 경관 특징이나 물체가 아닌 의미적으로 유의미한 요소—예: 로고와 얼굴—에 집중하고 있음을 보여준다.
• 이 방법은 미묘한 표현을 성공적으로 포착한다: 예를 들어 트럼프의 얼굴은 좌익 매체에서는 분노한 표정으로, 우익 매체에서는 친절한 표정으로 묘사되며, 소스 간 일관된 시각적 패tern을 보인다.
• 모델은 강력한 제로샷 일반화 성능를 보이며, 텍스트 유도 지도 학습을 거친 후 이미지 전용 추론에서도 높은 정확도를 달성한다.
• 정성적 분석을 통해 좌익과 우익 매체에서 동일 주제(예: BLM, 기후 변화)의 이미지가 시각적으로 유사하게 보일 수 있지만, 표정, 구성, 상징적 요소 등 미묘한 차이점이 있음을 확인할 수 있었다.