[논문 리뷰] Dating Texts without Explicit Temporal Cues

Abhimanu Kumar, Jason Baldridge외 2명|arXiv (Cornell University)|2012. 11. 10.

Topic Modeling참고 문헌 26인용 수 12

한 줄 요약

이 논문은 명시적 시제 표현에 의존하지 않고 은유적 시제 단서만을 사용하여 텍스트를 연도로 날짜를 매기는 언어 모델 기반 접근법을 제안한다. 위키피디아 생애기록을 기반으로 훈련하고, 크로노논 기반 언어 모델과 제린스키-머서 스무딩을 활용한 정보 검색 기법을 적용함으로써, 생애기록에 대해 중앙 오차가 22년, 단편 소설에 대해 17년에 이를 정도로 수천 년에 걸친 장르 간에 강력한 시기 예측 성능을 보이며, 다양한 장르에 걸쳐 강건한 시기 예측이 가능함을 입증한다.

ABSTRACT

This paper tackles temporal resolution of documents, such as determining when a document is about or when it was written, based only on its text. We apply techniques from information retrieval that predict dates via language models over a discretized timeline. Unlike most previous works, we rely {\it solely} on temporal cues implicit in the text. We consider both document-likelihood and divergence based techniques and several smoothing methods for both of them. Our best model predicts the mid-point of individuals' lives with a median of 22 and mean error of 36 years for Wikipedia biographies from 3800 B.C. to the present day. We also show that this approach works well when training on such biographies and predicting dates both for non-biographical Wikipedia pages about specific years (500 B.C. to 2010 A.D.) and for publication dates of short stories (1798 to 2008). Together, our work shows that, even in absence of temporal extraction resources, it is possible to achieve remarkable temporal locality across a diverse set of texts.

연구 동기 및 목표

• 텍스트 내 명시적 시제 표현에 의존하지 않고 은유적 시제 단서만을 기반으로 문서를 연도로 날짜를 매기는 방법을 개발하는 것.
• 위키피디아 생애기록에 훈련된 언어 모델이 다양한 텍스트 유형(비생애기록 페이지 및 문학 작품 포함)의 날짜 예측에 얼마나 강건한지 평가하는 것.
• 다양한 스무딩 기법과 유사도 측정 방법(우도 대비 KL 발산)이 시기 기반 문서 순서 정렬에 얼마나 효과적인지 탐색하는 것.
• 명시적 날짜가 없는 텍스트조차도 어휘 사용 방식에 시기 정보가 내재되어 있음을 입증하고, 이를 바탕으로 다국어 및 장르 간 응용이 가능한지 보여주는 것.

제안 방법

• 시간선을 크로노논—연속적인 원자적 시간 간격—으로离산화하여, 각 크로노논에 대해 단어 분포를 모델링한다.
• 기원전 3800년부터 기원후 2010년까지의 위키피디아 생애기록을 기반으로 각 크로노논에 대해 유니그램 언어 모델을 훈련한다.
• 일반 컬렉션 모델과의 Jelinek-Mercer 선형 보간을 사용하여 각 크로노논 모델을 스무딩하여 일반화 성능을 향상시킨다.
• 테스트 문서의 경우 유니그램 모델을 구축하고, 문서 우도 또는 KL 발산을 통해 각 크로노논 모델과 비교하여 가장 가능성이 높은 시기 간격을 식별한다.
• 명시적 날짜 제거를 위해 시기 표현 식별기(예: HeidelTime)를 사용하여 훈련 및 테스트 데이터에서 명시적 날짜를 제거함으로써 은유적 단서에만 의존하도록 보장한다.
• 세 가지 과제(생애기록, 사건 페이지, 단편 소설)를 대상으로 평가하며, 중앙 오차와 평균 절대 오차를 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 위키피디아 생애기록에 훈련된 언어 모델이 명시적 시제 표현 없이도 은유적 시제 단서만으로 문서의 시기 간격을 정확히 예측할 수 있는가?
• RQ2 다양한 스무딩 기법(예: Jelinek-Mercer, Dirichlet)이 크로노논 기반 문서 날짜 예측 성능에 어떻게 영향을 미치는가?
• RQ3 명시적 시제 표현이 없는 상황에서 문서 우도 기반 접근법과 KL 발산 기반 접근법 중 어느 것이 더 나은 시기 정렬 성능을 보이는가?
• RQ4 생애기록에 훈련된 모델이 역사적 사건 페이지나 소설 단편과 같은 비생애기록 텍스트로의 일반화 능력은 어느 정도인가?

주요 결과

• 최고의 모델은 위키피디아 생애기록을 기반으로 개인의 삶의 중간 시기를 예측할 때 중앙 오차 22년, 평균 오차 36년을 기록한다.
• 기원전 500년부터 기원후 2010년까지 특정 연도에 대해 작성된 비생애기록 위키피디아 페이지에 대해 모델은 중앙 오차 21년, 평균 오차 36년을 기록한다.
• 구텐베르크 프로젝트의 단편 소설(1798–2008년)에 적용했을 때 모델은 중앙 오차 17년, 평균 오차 20년을 기록하며 소설 장르로의 일반화 능력이 뛰어나다는 것을 입증한다.
• Jelinek-Mercer 스무딩이 다른 스무딩 방법보다 성능이 뛰어나며, 컬렉션 모델과의 선형 보간이 크로노논 언어 모델링에 가장 효과적임을 시사한다.
• 문서 우도 기반과 KL 발산 기반 순서 정렬 모두 유사한 성능을 보이며, 둘 다 시기 기반 문서 순서 정렬에 효과적으로 사용될 수 있음을 시사한다.
• 가장 예측력 있는 단어는 일반적으로 희귀한 고유명사(예: capote, komatsu) 또는 특정 시대와 연관된 어휘(예: teleplay, wavelength)이며, 'goodness'나 'tub'과 같은 공통 어휘는 예측력이 가장 낮다.