[논문 리뷰] TweeTime: A Minimally Supervised Method for Recognizing and Normalizing Time Expressions in Twitter

Jeniya Tabassum, Alan Ritter외 1명|arXiv (Cornell University)|2016. 08. 09.

Advanced Text Analysis Techniques참고 문헌 40인용 수 6

한 줄 요약

TweeTIME는 알려진 이벤트 데이터베이스를 사용하여 원거리 지도 학습을 활용해 수동 주석 또는 규칙 설계 없이 훈련 데이터를 자동으로 생성하는 최소한의 지도 학습 기반 트위터용 시계열 정규화 시스템이다. 이 시스템은 소셜 미디어 텍스트에서 종합적인 시계열 정규화 작업에서 0.68의 F1 스코어를 달성하여 뉴스 기사나 임상 텍스트에 특화된 기존 시스템인 SUTime, HeidelTime, TempEx, UWTime를 크게 앞서며 성능을 뛰어올린다.

ABSTRACT

We describe TweeTIME, a temporal tagger for recognizing and normalizing time expressions in Twitter. Most previous work in social media analysis has to rely on temporal resolvers that are designed for well-edited text, and therefore suffer from the reduced performance due to domain mismatch. We present a minimally supervised method that learns from large quantities of unlabeled data and requires no hand-engineered rules or hand-annotated training corpora. TweeTIME achieves 0.68 F1 score on the end-to-end task of resolving date expressions, outperforming a broad range of state-of-the-art systems.

연구 동기 및 목표

• 비공식적이고 노이즈가 많은 소셜 미디어 텍스트에서 시간 표현 인식 및 정규화의 과제를 해결하기 위해, 뉴스 기사나 임상 텍스트에 특화된 기존 시스템이 성능을 낮출 수 있는 상황을 고려한다.
• 소셜 미디어에서 시간 태깅을 위한 고비용 수동 주석 데이터나 수작업 규칙에 의존하지 않도록 한다.
• 대규모의 레이블이 없는 트위터와 알려진 이벤트 데이터베이스에서 학습 가능한 확장성 있는 종단 간 시스템을 개발한다.
• 소셜 미디어 맥락에서 모호한 시간 표현(예: 향후 일요일을 의미하는 '화요일')을 해결하는 데 성능을 향상시킨다.
• 겹치는 히ュ리스틱 레이블을 활용한 원거리 지도 학습을 통해 자원이 제한된 환경에서도 강력한 시계열 정규화를 가능하게 한다.

제안 방법

• 시스템은 원거리 지도 학습의 가정을 사용한다: 알려진 이벤트의 중심 엔티티를 이벤트 일자 근처에 언급하는 트위터는 해당 이벤트 일자와 관련된 시간 표현을 포함할 가능성이 높다.
• 다중 인스턴스 학습을 적용하여 단어 수준 및 문장 수준의 시계열 태그를 함께 모델링하고, 동일한 트위터에서 발생하는 겹치는 레이블을 처리한다.
• 예측된 태그와 어휘적 특징을 기반으로 로그 선형 모델을 훈련시켜 시간 표현을 캘린더 날짜로 정규화한다.
• 미래의 시계열 속성이나 관측되지 않은 속성에 대해 모델링하는 데 도움을 주기 위해 오차가 발생하는 히ュ리스틱 레이블을 수정하기 위해 개선된 누락 데이터 모델을 도입한다.
• 스포츠 경기, 콘cert 등 알려진 이벤트 데이터베이스를 사용하여 트위터에 시계열 속성(요일, 월 중 일자, 트위터 생성 시간 기준 과거/미래 상태 등)을 히ュ리스틱하게 레이블링한다.
• 정규화된 날짜와 신뢰도 스코어를 출력하여 정밀도-재현율의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 도메인 내 주석 데이터나 수작업 규칙 없이도 최소한의 지도 학습 방법이 트위터에서 높은 성능의 시간 표현 정규화를 달성할 수 있는가?
• RQ2 알려진 이벤트와 엔티티 언급을 활용한 원거리 지도 학습이 소셜 미디어의 시간 태깅을 위한 훈련 데이터를 신뢰성 있게 생성할 수 있는가?
• RQ3 모호하거나 암시적인 시간 참조를 포함한 트위터에서 겹치는 시간 태그를 다중 인스턴스 학습이 얼마나 효과적으로 모델링할 수 있는가?
• RQ4 히ュ리스틱 레이블링 오류를 수정하기 위해 누락 데이터 모델이 정규화 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 대규모의 레이블이 없는 트위터와 이벤트 데이터베이스에서 학습하는 것이 제한된 코퍼스로 훈련된 규칙 기반 또는 지도 학습 시스템보다 더 나은 일반화 성능을 낼 수 있는가?

주요 결과

• TweeTIME는 트위터의 종단 간 시계열 정규화 작업에서 F1 스코어 0.68를 달성하여 SUTime 대비 17%의 상대적 향상을 보였다.
• 동일한 트위터 벤치마크에서 HeidelTime, TempEx, UWTime 등 최신 기술 수준의 시스템을 모두 앞서는 성능을 보였다.
• 알려진 이벤트를 활용한 원거리 지도 학습을 통해 수동 주석 데이터나 규칙 설계 없이도 효과적인 훈련이 가능했다.
• 누락 데이터 모델은 히ュ리스틱 레이블링 오류의 전파를 줄여 전체 정규화 정확도를 향상시켰다.
• 시스템은 사용자가 정밀도와 재현율을 조정할 수 있도록 신뢰도 스코어를 생성하여 실용적 사용성을 높였다.
• 저자들이 알고 있는 바에 따르면 TweeTIME는 소셜 미디어를 위해 특별히 설계된 최초의 종단 간 시계열 해독기이며, 원거리 지도 학습을 공동 인식 및 정규화에 적용한 최초의 시스템이다.