[논문 리뷰] BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information

Jiexin Wang, Adam Jatowt외 2명|arXiv (Cornell University)|2022. 04. 27.

Topic Modeling인용 수 22

한 줄 요약

BiTimeBERT은 시간 인식 마스킹과 문서 날짜 추정 목표를 사용하여 20년 간의 뉴스 코퍼스에서 Transformer 인코더를 사전 학습하고, 시간 인식 언어 표현을 생성하여 표준 BERT 대비 시간 관련 작업의 성능을 향상시킵니다.

ABSTRACT

Time is an important aspect of documents and is used in a range of NLP and IR tasks. In this work, we investigate methods for incorporating temporal information during pre-training to further improve the performance on time-related tasks. Compared with common pre-trained language models like BERT which utilize synchronic document collections (e.g., BookCorpus and Wikipedia) as the training corpora, we use long-span temporal news article collection for building word representations. We introduce BiTimeBERT, a novel language representation model trained on a temporal collection of news articles via two new pre-training tasks, which harnesses two distinct temporal signals to construct time-aware language representations. The experimental results show that BiTimeBERT consistently outperforms BERT and other existing pre-trained models with substantial gains on different downstream NLP tasks and applications for which time is of importance (e.g., the accuracy improvement over BERT is 155\% on the event time estimation task).

연구 동기 및 목표

• 사전 학습된 언어 모델에 시간 정보를 통합하는 이점 조사.
• 두 가지 새로운 사전 학습 목표를 가진 시간적 뉴스 수집에서 학습된 BiTimeBERT 개발.
• 타임스탬프 신호와 컨텐츠 타임 신호가 시간 민감한 NLP/IR 작업에 미치는 영향 평가.
• 다양한 시간 관련 다운스트림 작업에서 BiTimeBERT를 평가하고 베이스라인과 비교.

제안 방법

• BERT base인 Transformer 인코더를 사용하고 BERT-Base에서 초기화하며 NYT 뉴스 코퍼스(1987–2007)에서 지속적으로 사전 학습합니다.
• 시간 표현을 먼저 마스킹하고 그다음 다른 토큰을 마스킹하는 Time-Aware Masked Language Modeling (TAMLM)을 도입합니다.
• 선택된 해상도에서 문서 타임스탬프를 예측하기 위해 Next Sentence Prediction을 Document Dating (DD)로 대체합니다.
• 선택적으로 TAMLM 기반 목표의 대안으로 Temporal Information Replacement (TIR)를 테스트합니다.
• 다양한 해상도에서 정확도(ACC)와 평균 절대 오차(MAE)를 사용해 다운스트림 작업을 평가합니다.
• 참고: 사전 학습 중 두 가지 시간 신호—문서 타임스탬프와 콘텐츠 타임(시간 표현)—.

Figure 1 . An illustration of BiTimeBERT training, which includes the TAMLM and DD tasks.

실험 결과

연구 질문

• RQ1 타임스탬프 신호와 콘텐츠 타임 신호가 사전 학습된 언어 표현에 어떤 영향을 미치나요?
• RQ2 시간 인지적 사전 학습 목표가 시간에 민감한 NLP/IR 작업에서 성능을 향상시키나요?
• RQ3 시간적 해상도가 다운스트림 작업 성능에 미치는 영향은 무엇인가요?
• RQ4 BiTimeBERT가 사전 학습 창을 넘어서는 장기 시간 작업에 일반화될 수 있나요?

주요 결과

• BiTimeBERT는 여러 해상도에서 시간 관련 다수의 작업에서 BERT 및 BERT-NYT보다 우수한 성능을 보입니다.
• 사건 발생 시간 추정에서 BiTimeBERT는 베이스라인 대비 큰 향상을 보이며, 상위 1개 문서 정보를 사용할 때 상당한 개선이 나타납니다.
• BiTimeBERT는 복잡한 다단계 파이프라인에 의존하는 SOTA 시간 추정 방법과 비교해 경쟁력 있는 또는 최첨단 결과를 달성합니다.
• TAMLM을 통한 콘텐츠 타임과 DD를 통한 타임스탬프를 통합하면, 특히 제한된 작업 데이터일 때 더 강한 시간 인식 표현을 가능하게 합니다.

Figure 2 . Example of the replacement procedure in TIR task.