[논문 리뷰] NeMig -- A Bilingual News Collection and Knowledge Graph about Migration

Andreea Iana, Mehwish Alam외 6명|arXiv (Cornell University)|2023. 09. 01.

Topic ModelingComputer Science인용 수 3

한 줄 요약

NeMig는 이민을 주제로 한 이중어(독일어/영어) 뉴스 컬렉션과 지식 그래프를 제공하며, 감성 극화, 미디어 정치 성향, 하위 주제, 그리고 Wikidata 기반의 실체 정규화를 포함한 애너테이션을 제공한다. 익명화된 사용자 데이터(사회적·인구학적 및 정치적 특성 포함)를 수반하여, 정확도를 초월해 추천 알고리즘 편향, 필터 버블, 다국어 뉴스 정렬 효과 분석이 가능하다.

ABSTRACT

News recommendation plays a critical role in shaping the public's worldviews through the way in which it filters and disseminates information about different topics. Given the crucial impact that media plays in opinion formation, especially for sensitive topics, understanding the effects of personalized recommendation beyond accuracy has become essential in today's digital society. In this work, we present NeMig, a bilingual news collection on the topic of migration, and corresponding rich user data. In comparison to existing news recommendation datasets, which comprise a large variety of monolingual news, NeMig covers articles on a single controversial topic, published in both Germany and the US. We annotate the sentiment polarization of the articles and the political leanings of the media outlets, in addition to extracting subtopics and named entities disambiguated through Wikidata. These features can be used to analyze the effects of algorithmic news curation beyond accuracy-based performance, such as recommender biases and the creation of filter bubbles. We construct domain-specific knowledge graphs from the news text and metadata, thus encoding knowledge-level connections between articles. Importantly, while existing datasets include only click behavior, we collect user socio-demographic and political information in addition to explicit click feedback. We demonstrate the utility of NeMig through experiments on the tasks of news recommenders benchmarking, analysis of biases in recommenders, and news trends analysis. NeMig aims to provide a useful resource for the news recommendation community and to foster interdisciplinary research into the multidimensional effects of algorithmic news curation.

연구 동기 및 목표

• 이민과 같은 논란의 여지가 있는 주제에 대해 정치적 및 감성 애너테이션을 갖춘 다국어, 주제별 뉴스 데이터셋 부족 문제를 해결한다.
• 정확도 평가를 초월해 알고리즘 기반 추천 편향과 필터 버블 형성에 대한 연구를 가능하게 한다.
• 정치적 극화와 여론 형성에 미치는 미디어 정렬 효과에 대한 다학제적 연구를 위한 자원을 제공한다.
• 구조화되고 Wikidata로 강화된 지식 그래프를 통해 지식 기반 추천 시스템 개발을 지원한다.
• 사용자 클릭 피드백과 함께 풍부한 사용자 프로필을 포함함으로써 합성 사용자 데이터 생성을 촉진한다.

제안 방법

• 다양한 정치 성향의 미디어 출판사에서 수집한 독일어 7,000건, 미국 뉴스 기사 10,000건을 정제하였다.
• 전문가 레이블링과 기존 분류 체계를 활용해 기사에 감성 극화 및 미디어 출판사의 정치 성향을 애너테이션하였다.
• 하위 주제와 명시적 실체를 추출하고, Wikidata를 통해 실체 정규화를 수행하여 의미 일관성을 확보하였다.
• 뉴스 텍스트, 메타데이터, Wikidata에서의 최대 2단계 이내 이웃 정보를 통합하여 도메인 특화 지식 그래프(이하 NeMigKG)를 구축하였다.
• NeMigKG의 다양한 변형에서 TransD를 사전 학습하여 실체 임베딩을 생성하고, 추천 성능에 미치는 영향을 평가하였다.
• 각 언어별로 3,000명의 사용자에 대해 인구학적, 정치적 태도, 성격 특성, 명시적 클릭 피드백을 포함한 익명화된 사용자 데이터를 수집하였다.

(a) German news corpus.

실험 결과

연구 질문

• RQ1 뉴스 기사에 정치 성향과 감성 극화 정보를 통합할 경우 추천 시스템의 성능과 다양성에 어떤 영향을 미치는가?
• RQ2 Wikidata 이웃 정보로 확장된 지식 그래프가 추천 정확도와 요소 기반 다양성에 얼마나 기여하는가?
• RQ3 다른 정치 성향을 가진 미디어 출판사들이 시간이 지남에 따라 동일한 이민 관련 실체를 어떻게 다루는가?
• RQ4 사용자의 사회적·인구학적 및 정치적 데이터를 활용하면 뉴스 추천 시스템 내 필터 버블 효과를 탐지하고 분석할 수 있는가?
• RQ5 독일과 미국의 정치적 미디어 출판사에서 실체 커버리지의 시간적 추세는 어떠한가?

주요 결과

• NeMigKG에 정치 성향, 감성, 하위 주제 정보를 추가함으로써 정확도에 큰 영향을 주지 않은 채 요소 기반 다양성이 향상되었다.
• NeMigKG에 1단계 Wikidata 이웃 정보를 통합하면 추천 성능이 향상되었지만, 2단계 이웃 정보는 성능 저하를 유발하여 소규모 데이터셋에서 지식 과잉의 영향을 보였다.
• 독일 미디어에서 가장 자주 언급된 상위 20개 실체 중 대부분은 중심 우익 및 중심 미디어에서 다루었으며, 아나스타시아 메르켈과 딜린케 등 일부 실체는 우익 미디어에서 더 자주 언급되었다.
• 미국 미디어에서는 좌익 성향 미디어가 가장 흔한 실체를 중심 또는 우익 미디어보다 덜 다루었다.
• 시간적 분석 결과, 독일 미디어의 실체 커버리지가 연방 및 유럽 선거, 시리아 북부에서의 터키 공격과 같은 주요 정치적 사건과 상관관계를 보였다.
• 사용자 인구학적 및 정치적 데이터 포함으로 사용자별 편향 패턴을 탐지할 수 있었으며, 이는 정치적 극화에 대한 개인화된 추천 효과 연구를 뒷받침하였다.

(b) English news corpus.