[논문 리뷰] History by Diversity: Helping Historians search News Archives

Jaspreet Singh, Wolfgang Nejdl외 1명|arXiv (Cornell University)|2018. 10. 24.

Information Retrieval and Search Behavior참고 문헌 38인용 수 25

한 줄 요약

이 논문은 뉴스 아카이브에서 역사적 주제에 대한 주제적 측면과 두드러진 시간적 시기 간의 다양성을 고려해 역사적 검색 의도를 모델링하는 새로운 검색 알고리즘인 HistDiv를 소개한다. 시간적 사전 지식과 주제-시간 모델링을 통합함으로써 HistDiv는 특히 역사적으로 복잡한 주제에서의 하위주제 복귀율을 향상시키지만 정밀도는 약간 감소함에도 불구하고 사용자 선호도를 유지한다.

ABSTRACT

Longitudinal corpora like newspaper archives are of immense value to historical research, and time as an important factor for historians strongly influences their search behaviour in these archives. While searching for articles published over time, a key preference is to retrieve documents which cover the important aspects from important points in time which is different from standard search behavior. To support this search strategy, we introduce the notion of a Historical Query Intent to explicitly model a historian's search task and define an aspect-time diversification problem over news archives. We present a novel algorithm, HistDiv, that explicitly models the aspects and important time windows based on a historian's information seeking behavior. By incorporating temporal priors based on publication times and temporal expressions, we diversify both on the aspect and temporal dimensions. We test our methods by constructing a test collection based on The New York Times Collection with a workload of 30 queries of historical intent assessed manually. We find that HistDiv outperforms all competitors in subtopic recall with a slight loss in precision. We also present results of a qualitative user study to determine wether this drop in precision is detrimental to user experience. Our results show that users still preferred HistDiv's ranking.

연구 동기 및 목표

• 뉴스 아카이브에서 역사적 주제에 대한 시간과 주제 측면에서 다양하고 종합적인 개요가 필요한 역사학자들의 고유한 정보 필요를 해결한다.
• 기존의 다양성 기반 검색 방법이 역사적 검색에서 시간적 중요성과 주제 관련성에 고려하지 못하는 한계를 규명한다.
• 역사적 정보 탐색 행동을 지원하기 위해 주제적 측면과 중요한 시간 창을 명시적으로 모델링하는 검색 모델을 개발한다.
• The New York Times 아카이브에서 수작업 평가된 30개의 역사적 검색어로 구성된 새로운 테스트 컬렉션을 바탕으로 제안된 방법을 평가한다.
• 기본 모델과의 비교를 통해 정성적 사용자 연구를 통해 사용자 선호도와 인식된 개요 품질을 평가한다.

제안 방법

• 역사학자들이 중요한 하위주제와 역사적으로 중요한 시간적 시기의 커버리지가 필요함을 반영하기 위해 '주제-시간 다양화'라는 새로운 검색 과제를 정의한다.
• 출판 시간과 시간 표현에서 유도된 시간적 사전 지식을 활용해 문서 관련도를 가중치화하는 새로운 알고리즘인 HistDiv를 제안한다.
• 질의 및 문서 내용의 정보를 활용해 두드러진 시간 창과 핵심 주제(예: 사건, 인물, 주제)를 식별함으로써 역사적 질의 의도를 모델링한다.
• 역사적으로 중요한 시기 동안의 주제 다양성과 시간적 분포를 균형 있게 보장하는 이차원적 다양화 전략을 적용한다.
• 하위주제 복귀율을 최적화하면서 정밀도를 통제하기 위한 러닝-투-랭킹 프레임워크를 사용하며, 매개변수는 역사적 관련성 신호에 기반해 조정된다.
• 1987–2007년 사이 The New York Times 아카이브에서 유래한 30개의 역사적 질의로 구성된 테스트 컬렉션을 구축하였으며, 관련성과 주제 커버리지에 대해 수작업 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 표준 및 시간적 다양성 기반 기준 대비 HistDiv가 두드러진 시간적 시기 동안 다양한 주제 측면을 얼마나 잘 검색하는가?
• RQ2 기존의 검색 모델 대비 HistDiv가 역사적 검색 과제에서 하위주제 복귀율을 얼마나 향상시키는가?
• RQ3 HistDiv에서 복귀율과 정밀도의 상충 관계가 결과 품질과 개요 완전성에 대한 사용자 인식에 악영향을 미치는가?
• RQ4 역사학자와 비전문가가 다각화된 결과의 관련성과 유용성 평가에서 어떤 차이를 보이는가?
• RQ5 어떤 유형의 역사적 질의에서 HistDiv가 특히 유리하거나 제한을 받는가?

주요 결과

• HistDiv는 모든 경쟁자 대비 공동 주제-시간 공간에서 하위주제 복귀율에서 뚜렷한 우월성을 보이며, 핵심 시간적 시기 동안 다양한 역사적 주제를 커버하는 데 효과적임을 입증한다.
• 일부 기준 대비 정밀도는 약간 감소했지만, 정성적 사용자 연구에서 사용자들은 HistDiv의 순위를 더 선호하였으며, 이는 종합적인 개요 품질 향상과 주요 자료 포함으로 인한 것이다.
• 사용자 연구 결과, 비전문가들은 특히 이름이 모호한 주제(예: Charlie Sheen 대비 Martin Sheen)에서 관련 없는 기사에 더 민감하게 반응했지만, 전문가는 맥락적 다양성의 가치를 더 중시하였다.
• Rudolph Giuliani의 정치적, 개인적, 건강 관련 사건이 시간에 따라 변동성이 큰 주제처럼 다수의 변동 주제를 포함하는 경우, HistDiv는 더 종합적이고 균형 잡힌 개요를 제공하였다.
• 단일 주제가 지배적이거나 주제 다양성이 낮은 질의에서는 HistDiv가 복귀율 증가로 인해 관련성이 낮은 문서까지 포함하는 한계를 보였다.
• 결과는 복귀율과 정밀도의 상충 관계가 맥락에 따라 달라짐을 시사한다: 정밀도 손실가 발생하지만, 결과 커버리지와 통합성에 대한 사용자 인식 향상으로 상쇄되는 경우가 많다.