[논문 리뷰] Effective Distant Supervision for Temporal Relation Extraction

Xinyu Zhao, Shih-Ting Lin외 1명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 명시적인 시간적 신호(예: '이전', '이후', timex)를 사용하여 이벤트 쌍을 자동으로 수집하고 레이블링한 후, 이러한 신호를 마스킹하여 모델이 암시적 문맥 신호를 학습하도록 유도하는 새로운 원거리 지도 학습 방법을 제안한다. 이 마스킹된 데이터에 대해 미리 훈련된 트랜스포머 모델을 미세조정하면 인간 레이블 기반 벤치마크에서 강력한 제로샷 및 패기샷 전이 성능를 달성하며, RoBERTa 모델은 MATRES에서 79.8 F1을 기록하여 합성적으로 원거리 레이블링된 데이터로부터 효과적인 일반화를 보여준다.

ABSTRACT

A principal barrier to training temporal relation extraction models in new domains is the lack of varied, high quality examples and the challenge of collecting more. We present a method of automatically collecting distantly-supervised examples of temporal relations. We scrape and automatically label event pairs where the temporal relations are made explicit in text, then mask out those explicit cues, forcing a model trained on this data to learn other signals. We demonstrate that a pre-trained Transformer model is able to transfer from the weakly labeled examples to human-annotated benchmarks in both zero-shot and few-shot settings, and that the masking scheme is important in improving generalization.

연구 동기 및 목표

• 새로운 도메인에서 시간관계 추출을 위한 고품질이고 다양한 훈련 데이터의 부족 문제를 해결하기 위해.
• 외부 지식 기반 시스템에 의존하지 않고 자동으로 원거리 레이블링된 예제를 생성하는 방법을 개발하기 위해.
• 명시적인 시간적 지표를 마스킹하여 모델이 문맥 신호에 의존하도록 유도함으로써 일반화 능력을 향상시키기 위해.
• 미리 훈련된 모델이 자동으로 수집된 마스킹된 예제에서 인간 레이블 기반 벤치마크로 효과적으로 전이 가능한지 평가하기 위해.
• 의사결합어 연결어와 timex 기반 이벤트 중 어느 원거리 지도 신호 원천이 더 나은 일반화 성능를 제공하는지 비교하기 위해.

제안 방법

• 의사결합어(예: '이전', '이후')와 timex(예: '어제', '지금')와 같은 명시적 시간적 신호를 식별하기 위한 히우리스틱 규칙을 사용하여 영어 기간지(Gigaword)에서 이벤트 쌍을 수집한다.
• 이러한 신호에 기반해 자동으로 이벤트 쌍을 레이블링하여 대규모 원거리 지도 학습 데이터셋을 생성한다.
• 입력 텍스트에서 명시적 시간적 지표(예: '이전', '이후', '2020')를 숨기는 마스킹 전략을 적용하여 모델이 문맥만으로 관계를 추론하도록 유도한다.
• 이벤트 임베딩을 연결, 요소별 곱셈, 뺄셈을 통해 조합하는 분류 헤드를 사용하여 마스킹된 예제에 대해 미리 훈련된 RoBERTa 모델을 미세조정한다.
• MATRES와 같은 인간 레이블 기반 벤치마크에서 제로샷 및 패기샷 설정에서 추론을 수행하기 위해 모델을 활용한다.
• F1 스코어를 사용하여 성능을 평가하고, 기준 모델 및 다수 클래스 기준과 비교한다.

실험 결과

연구 질문

• RQ1 미리 훈련된 트랜스포머 모델이 자동으로 수집된 원거리 레이블링된 시간관계 예제에서 인간 레이블 기반 벤치마크로 효과적으로 일반화할 수 있는가?
• RQ2 명시적 시간적 지표를 마스킹함으로써 모델의 일반화 능력과 최종 작업 성능에 어떤 영향을 미치는가?
• RQ3 저자원 환경에서 원거리 지도 학습의 원천으로서 의사결합어와 timex 기반 이벤트 중 어느 것이 더 나은 일반화 성능를 제공하는가?
• RQ4 원거리 데이터의 이벤트 분포(예: 동사 유형, 의미적 특성)가 인간 레이블 기반 데이터셋으로의 전이 성능에 영향을 미치는가?
• RQ5 제안된 레이블링-마스킹 파라다임은 시간관계 추출을 초과하는 다른 자연어 처리 작업의 효과적인 훈련 데이터 생성에 활용될 수 있는가?

주요 결과

• 훈련 중 명시적 시간적 지표를 마스킹함으로써 MATRES 벤치마크에서 일반화 능력이 크게 향상되며, 특히 timex 기반 예제를 사용할 경우 더욱 두드러진다.
• RoBERTa를 사용하여 MATRES에서 F1 스코어 79.8을 기록하며, 이는 이전의 국지적 모델에서의 최상위 성능를 도달한다.
• 의사결합어 기반의 BeforeAfter 방법에 비해 timex 기반 이벤트를 사용하는 DistantTimex 방법이 특히 제로샷 및 패기샷 전이에서 더 뛰어난 성능를 보인다.
• DistantTimex 데이터셋의 이벤트 분포는 BeforeAfter 데이터셋보다 더 다양하고 의미적으로 복잡하여 더 나은 일반화에 기여할 수 있다.
• 마스킹된 DistantTimex 데이터에 훈련된 모델는 다수 클래스 기준보다 더 잘 일반화되며, 이는 모델이 단순한 신호에 의존하기보다는 의미 있는 암시적 시간적 신호를 학습하고 있음을 시사한다.
• 이 방법은 인간 레이블 기반 벤치마크로 효과적인 제로샷 및 패기샷 전이를 가능하게 하여, 저자원 환경에서 시간관계 추출을 위한 합성 데이터의 타당성을 입증한다.