[논문 리뷰] Temporal Common Sense Acquisition with Minimal Supervision

Ben Zhou, Qiang Ning외 2명|arXiv (Cornell University)|2020. 05. 08.

Topic Modeling참고 문헌 42인용 수 12

한 줄 요약

이 논문은 문맥 없는 텍스트에서 약한 감독을 통해 문법 규칙과 시간 차원의 공동 모델링을 활용하여 시간적 공통지식(지속 시간, 빈도, 일반적인 시간)을 습득하는 시퀀스 모델링 프레임워크 TacoLM을 제안한다. 내재 평가에서 BERT보다 19% 높은 성능을 보이며, 사건 관계 추론 및 시간 기반 질의 응답과 같은 외재적 과제에서도 성능을 향상시켜 보고 편향과 순서 관계가 있는 시간 단위에 대해 강건함을 입증한다.

ABSTRACT

Temporal common sense (e.g., duration and frequency of events) is crucial for understanding natural language. However, its acquisition is challenging, partly because such information is often not expressed explicitly in text, and human annotation on such concepts is costly. This work proposes a novel sequence modeling approach that exploits explicit and implicit mentions of temporal common sense, extracted from a large corpus, to build TACOLM, a temporal common sense language model. Our method is shown to give quality predictions of various dimensions of temporal common sense (on UDST and a newly collected dataset from RealNews). It also produces representations of events for relevant tasks such as duration comparison, parent-child relations, event coreference and temporal QA (on TimeBank, HiEVE and MCTACO) that are better than using the standard BERT. Thus, it will be an important component of temporal NLP.

연구 동기 및 목표

• 보고 편향으로 인해 암시적이고 부족하게 표현되는 지속 시간, 빈도, 일반적인 시간과 같은 시간적 공통지식(TCS)을 습득하는 데 도전하는 것.
• BERT와 같은 표준 미리 훈련된 언어 모델이 시간 단위 간 순서 관계를 모델링하지 못하고 TCS 차원에 대해 명시적 감독이 부족한 점을 극복하는 것.
• 자유형 텍스트에서 약한 감독 신호를 활용해 지속 시간, 빈도, 일반적인 시간과 같은 TCS의 다중 차원을 공동으로 모델링하는 방법을 개발하는 것.
• 사건의 공통지식 기반, 부모-자식 관계 추론, 시간 기반 질의 응답과 같은 시간 추론이 필요한 하류 NLP 과제를 향상시키는 것.

제안 방법

• 방법은 대규모 문맥 없는 코퍼스(Gigaword 등)에서 문법 규칙을 활용해 명시적 및 암묵적인 시간적 공통지식 언급을 추출하여 약한 감독 신호를 생성한다.
• 지속 시간, 빈도, 일반적인 시간에 대해 시간 단위의 분포를 공동 예측하는 시퀀스 모델링 프레임워크를 도입하며, 순서 관계(예: 분 < 시간 < 일)를 모델링한다.
• 이 모델은 이러한 약한 감독된 신호로 사전 훈련되어 다양한 시간 차원을 구분하고 표현할 수 있도록 하며, 명시적 언급을 초월한 일반화 능력을 향상시킨다.
• 시간 표현을 학습된 특수 토큰으로 대체하는 특수 토크나이제이션 기법을 통합하여 시간 단위 의미를 더 잘 모델링할 수 있도록 한다.
• 다양한 차원 간의 공동 관계를 활용한다. 예를 들어, 희귀 사건(예: '화재 경보 동안')에서 상한선을 이용해 일반적인 지속 시간을 추론(예: '문 열기'는 경보 지속 시간 이내)한다.
• 이 프레임워크는 이벤트 관계 분류 및 시간 기반 질의 응답과 같은 하류 과제에서 미세조정을 수행하며, 인코더의 표현을 사용해 시퀀스 분류를 수행한다.

실험 결과

연구 질문

• RQ1 문맥 없는 텍스트에서 약한 감독만을 사용해 사건의 지속 시간, 빈도, 일반적인 시간 분포를 예측할 수 있는가?
• RQ2 일상적인 사건이 텍스트에서 부족하게 표현되고 희귀한 사건이 과대 표현되는 보고 편향 상황에서 모델이 얼마나 잘 대처하는가?
• RQ3 다중 시간 차원의 공동 모델링이 표준 BERT가 달성할 수 있는 것 이상의 일반화 및 추론 능력을 향상시키는가?
• RQ4 시간 단위 간 순서 관계(예: 분 < 시간)를 포함시킬 경우 예측 정확도가 얼마나 향상되는가?
• RQ5 모델의 사건 표현이 시간 공통지식 추론이 필요한 하류 과제에서 더 높은 성능을 내는가?

주요 결과

• TacoLM은 RealNews와 UDST에서 기준 모델 대비 내재 평가에서 19% 향상되어 시간적 공통지식 분포 예측 능력이 뛰어나다는 것을 입증한다.
• 지속 시간 예측 과제에서 TacoLM는 순수 BERT 대비 40% 향상되었으며, 골드 레이블 주변에 더 정확하고 단일 모드 분포를 보였다.
• HiEVE에서 TacoLM는 핵심 참조 과제에서 4% 향상되고 부모-자식 관계 추론 과제에서 8% 향상되어 시간 추론을 통한 이벤트 계층 모델링 능력 향상을 보였다.
• McTaco에서 TacoLM는 지속 시간(34.6% vs. 33.4%), 빈도(45.1% vs. 43.3%), 일반적인 시간(40.9% vs. 39.5%)에서 정확한 일치 스코어가 높아 시간 기반 질의 응답에서의 성과 향상을 확인했다.
• 희귀 사건에서의 상한선 같은 암묵적 제약 조건을 활용해 일반적인 지속 시간을 추론함으로써 보고 편향에 대해 강건함을 보였으며, 이는 문헌에서의 새로운 기여이다.
• 성능 향상에도 불구하고, McTaco의 순서 차원 성능은 약간 감소하여 상대적인 시간 순서 모델링에 어려움이 있음을 시사하며, 향후 연구가 필요하다.