[논문 리뷰] Barbara Made the News: Mining the Behavior of Crowds for Time-Aware Learning to Rank

Flávio Martins, João Magalhães외 1명|arXiv (Cornell University)|2016. 02. 09.

Advanced Text Analysis Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 TREC 2013 및 2014 마이크로블로그 트랙 데이터셋에서 어휘 기반 모델 대비 13.2%의 상대적 향상과 강력한 LTR 기반 모델 대비 6.2%의 상대적 향상을 달성하는 시간 인지 학습-랭킹 프레임워크인 RMTS를 제안한다. RMTS는 트위터, 위키백과, 뉴스, 쿼리 로그 등 다양한 웹 소스에서의 군중 행동을 채굴하여 마이크로블로그 검색의 관련성 향상을 도모한다. 다양한 소스에서 유도된 시간 신호를 통합하고 이를 학습-랭킹 모델에 통합함으로써 성능 향상을 이룬다.

ABSTRACT

In Twitter, and other microblogging services, the generation of new content by the crowd is often biased towards immediacy: what is happening now. Prompted by the propagation of commentary and information through multiple mediums, users on the Web interact with and produce new posts about newsworthy topics and give rise to trending topics. This paper proposes to leverage on the behavioral dynamics of users to estimate the most relevant time periods for a topic. Our hypothesis stems from the fact that when a real-world event occurs it usually has peak times on the Web: a higher volume of tweets, new visits and edits to related Wikipedia articles, and news published about the event. In this paper, we propose a novel time-aware ranking model that leverages on multiple sources of crowd signals. Our approach builds on two major novelties. First, a unifying approach that given query q, mines and represents temporal evidence from multiple sources of crowd signals. This allows us to predict the temporal relevance of documents for query q. Second, a principled retrieval model that integrates temporal signals in a learning to rank framework, to rank results according to the predicted temporal relevance. Evaluation on the TREC 2013 and 2014 Microblog track datasets demonstrates that the proposed model achieves a relative improvement of 13.2% over lexical retrieval models and 6.2% over a learning to rank baseline.

연구 동기 및 목표

• 짧고 이벤트 중심인 마이크로블로그 게시물을 순위 매길 때 표준 검색 모델의 한계를 보완하기 위해 시간적 관련성을 통합함으로써 순위 매기기 성능 향상.
• 단일 소스(예: 트위터 또는 위키백과)에 의존하는 시간 신호의 편향을 줄이기 위해 다수의 군중 기반 데이터 스트림을 통합함으로써 시간 신호의 다양성 확보.
• 다양한 웹 소스에서 유래한 이질적인 시간 신호를 통합하여 통합된 프레임워크를 개발함으로써 쿼리에 가장 관련성이 높은 시간대를 예측하는 데 기여.
• 사회 미디어, 뉴스 및 위키백과에서의 사용자 집단 행동을 체계적인 학습-랭킹 설정에서 모델링함으로써 시간 민감 쿼리에 대한 순위 매기기 성능 향상.

제안 방법

• 트위터(게시 시간), 위키백과(페이지 조회수 및 편집 이력), 뉴스 기사(게재 시간), 쿼리 로그(클릭-스루 패턴) 등 네 가지 소스에서 시간 신호를 채굴함.
• 각 소스의 시간 증거를 신호 강도(예: 조회수, 편집 빈도 등)에서 유도된 관련성 가중치를 부여한 가중치가 부여된 시간 시리즈로 표현함.
• 모든 소스의 정규화된 시간 시리즈를 통합하여 문서별로 통합된 시간 특징 벡터를 구성함으로써 다중 소스 간 시간 정렬을 가능하게 함.
• MAP 및 P30 지표 최적화를 위해 기울기 부스팅 트리 기반 학습-랭킹 프레임워크(LTR)에 통합된 시간 특징을 통합함.
• 각 소스의 기여도 평가 및 결측 데이터에 대한 강건성 평가를 위해 특징 선택 및 아블레이션 분석을 실시함.
• 기본 모델(BM25 및 어휘 기반 LTR 모델 포함) 대비 성능 향상의 통계적 유의성 검증을 위해 유의수준 p < 0.01 기반의 통계적 유의성 검정을 적용함.

실험 결과

연구 질문

• RQ1 다양한 웹 소스에서 유래한 다수의 군중 기반 시간 신호를 통합함으로써 마이크로블로그 검색에서 시간 인지 랭킹 성능 향상이 가능할까?
• RQ2 뉴스, 위키백과, 트위터 등 다양한 소스가 쿼리에 가장 관련성이 높은 시간대를 식별하는 데 기여하는 방식은 어떠한가?
• RQ3 단일 시간 데이터 소스의 결여에 대해 제안된 모델이 얼마나 강건한가?
• RQ4 이질적인 시간 신호를 통합한 통합 표현 방식이 단일 소스 접근 방식보다 더 나은 일반화 능력과 성능을 보일 수 있는가?
• RQ5 초기 트위터 결과에 명확한 시간 패턴이 없는 경우, 뉴스 및 위키백과와 같은 외부 소스의 시간 신호가 검색 성능 향상에 기여할 수 있는가?

주요 결과

• RMTS 모델은 BM25 및 딜리트루 스무딩을 적용한 언어 모델 대비 MAP에서 13.2%의 상대적 향상을 달성하였으며, 통계적 유의성(p < 0.01)을 확보함.
• 강력한 학습-랭킹 기반 모델(어휘 및 도메인 특징 포함) 대비 RMTS는 6.2%의 성능 향상을 기록하였으며, 이 역시 통계적 유의성(p < 0.01)을 확보함.
• 뉴스 소스가 가장 큰 기여를 하였으며, 이를 제거했을 경우 MAP에서 가장 큰 감소(2.74%)가 발생하여 시간 신호 탐지에 있어 핵심적인 역할을 함을 시사함.
• 모델은 높은 강건성을 보였으며, 어떤 소스라도 제거해도 성능 저하가 미미함(최대 MAP 2.74% 감소), 결측 또는 오류가 발생한 데이터에 대한 내성적 내구성 확보.
• 트위터 외부의 최소한 하나의 외부 소스가 포함된 경우 대부분의 쿼리에서 성능 향상이 관찰되어 다중 소스 시간 증거의 가치를 확인함.
• 통합된 시간 특징 표현 방식은 이질적인 신호의 효과적 통합을 가능하게 하였으며, 위키백과의 페이지 조회수 및 편집 이력이 이벤트 탐지에 특히 효과적임을 입증함.