[논문 리뷰] Be In The Know: Connecting News Articles to Relevant Twitter Conversations

Bichen Shi, Georgiana Ifrim외 1명|arXiv (Cornell University)|2014. 05. 13.

Topic Modeling참고 문헌 33인용 수 7

한 줄 요약

이 논문은 기사 텍스트와 트윗 스트림의 특징을 사용하여 메인스트림 뉴스 기사와 관련된 트위터 대화를(hashtag를 통해) 자동으로 연결하는 기계학습 프레임워크를 제안한다. 이 시스템은 정밀도가 높은 해시태그 관련성 분류 및 순위 매기기를 통해 기자들이 실시간으로 대중의 여론과 최신 뉴스를 추적할 수 있도록 한다.

ABSTRACT

In the era of data-driven journalism, data analytics can deliver tools to support journalists in connecting to new and developing news stories, e.g., as echoed in micro-blogs such as Twitter, the new citizen-driven media. In this paper, we propose a framework for tracking and automatically connecting news articles to Twitter conversations as captured by Twitter hashtags. For example, such a system could alert journalists about news that get a lot of Twitter reaction, so that they can investigate those conversations for new developments in the story, promote their article to a set of interested consumers, or discover general sentiment towards the story. Mapping articles to appropriate hashtags is nevertheless very challenging, due to different language styles used in articles versus tweets, the streaming aspect of news and tweets, as well as the user behavior when marking certain tweet-terms as hashtags. As a case-study, we continuously track the RSS feeds of Irish Times news articles and a focused Twitter stream over a two months period, and present a system that assigns hashtags to each article, based on its Twitter echo. We propose a machine learning approach for classifying and ranking article-hashtag pairs. Our empirical study shows that our system delivers high precision for this task.

연구 동기 및 목표

• 언어 스타일의 차이와 실시간 스트리밍의 특성으로 인해 메인스트림 뉴스 기사와 관련된 트위터 대화를 연결하는 데 도전하는 데에 대비하기 위해.
• 기사의 주제와 관련된 해시태그를 자동으로 매핑하여 현재 일어나는 사건에 대한 대중의 여론과 논의를 반영하는 시스템을 개발하기 위해.
• 해시태그 추적을 통한 트렌드 주제 및 대중 반응에 대한 실시간 경고를 제공하여 저널리즘 워크플로우를 향상시키기 위해.
• 기사 내용과 관련된 트윗에서 유도된 특징을 사용하여 해시태그 관련성을 학습 문제로 모델링하기 위해.
• 특히 정치적 국민투표나 위기 상황과 같은 고위험 뉴스 맥락에서 의미 있는 해시태그를 식별하는 데 있어 시스템의 정밀도를 평가하기 위해.

제안 방법

• 프레임워크는 뉴스 기사의 RSS 피드와 특정 트위터 스트림을 지속적으로 모니터링하며, 기사 헤드라인과 내용에서 동적 关련 키워드 추출을 통해 스트림의 관련성을 유지한다.
• 사전 처리 파이프라인(해시태그 정규화 및 필터링 포함)을 통해 각 기사와 연결된 트윗에서 후보 해시태그를 추출한다.
• 각 기사-해시태그 쌍에 대해 네 가지 핵심 특징을 사용: 어휘적 겹침, 트윗 빈도, 공통 출현 패턴, 임bedding 모델을 통한 의미적 유사도.
• 수동으로 애너테이션된 데이터로 훈련된 지도 학습 분류기(기본 임계값 0.5)가 관련성에 따라 기사-해시태그 쌍을 순위 매긴다.
• 동적 키워드 세트를 활용하여 트위터 스트림의 관련성을 유지하고, 변화하는 뉴스 주제에 적응한다.
• 평가에는 아일랜드 타임스 기사와 관련 트위터 대화의 두 달 분량 데이터셋을 사용하며, 기준값을 확보하기 위해 수동 애너테이션을 실시한다.

실험 결과

연구 질문

• RQ1 어떻게 해시태그를 의미적 앵커로 삼아 뉴스 기사와 관련된 트위터 대화를 효과적으로 연결할 수 있는가?
• RQ2 언어 스타일과 사용자 행동의 차이를 고려할 때, 특정 뉴스 기사에 대한 해시태그의 관련성을 가장 잘 예측하는 특징은 무엇인가?
• RQ3 기계학습 모델이 기사-해시태그 쌍의 분류 및 순위 매기기에서 높은 정밀도를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 정치, 스포츠, 위기 등 다양한 뉴스 카테고리에서 시스템의 성능은 어떻게 되는가?
• RQ5 이 프레임워크는 기자들이 대중 여론과 최신 뉴스를 모니터링하기 위해 실시간 추적 및 경고를 지원할 수 있는가?

주요 결과

• 시스템은 높은 정밀도로 관련 해시태그를 식별했으며, 기술 이벤트 기사에 대해 #websummit의 분류 점수는 0.92를 기록했다.
• 아일랜드 상원 참의원 국민투표와 관련된 #seanad 해시태그에 대해, 모델은 점수 0.82 이상을 기록한 여러 관련 기사들을 정확히 순위 매겼으며, 이는 효과적인 주제 군집화를 보여준다.
• 모델은 기사 주제와 관련이 없는 불필요한 해시태그인 #tobaccodirective와 #mentalhealth를 성공적으로 걸러내었다.
• 상원 참의원 국민투표 관련 가장 관련성이 높은 기사에 대해 분류기가 0.99의 높은 점수를 기록하여, 고영향력 기사에 대한 강력한 성능을 입증했다.
• 프레임워크는 임베딩 공간에서 해시태그를 기반으로 뉴스 기사를 효과적으로 군집화하여, 헤드라인에 공통 키워드가 없더라도 관련 기사들을 그룹화할 수 있었다.
• 이러한 접근법은 특히 빠르게 변화하는 뉴스 환경에서 미디어 모니터링, 여론 추적, 사건 탐지 등에 응용 가능성이 높아 보인다.