[논문 리뷰] ManTIME: Temporal expression identification and normalization in the TempEval-3 challenge

Michele Filannino, Gavin Brown외 1명|arXiv (Cornell University)|2013. 04. 30.

Natural Language Processing Techniques참고 문헌 7인용 수 17

한 줄 요약

ManTIME는 TempEval-3 챌린지에서 시간 표현 식별 및 정규화를 위한 CRF 기반 시스템으로, 후처리 파이프라인을 포함한다. 식별에 대해 F1 점수 0.90, 정규화에 대해 유형 정확도 0.84를 기록했으며, WordNet 기반 특징은 성능을 저하시키고, 은밀한 데이터는 광범위한 사용에도 불구하고 성능 향상을 이끌지 못했다.

ABSTRACT

This paper describes a temporal expression identification and normalization system, ManTIME, developed for the TempEval-3 challenge. The identification phase combines the use of conditional random fields along with a post-processing identification pipeline, whereas the normalization phase is carried out using NorMA, an open-source rule-based temporal normalizer. We investigate the performance variation with respect to different feature types. Specifically, we show that the use of WordNet-based features in the identification task negatively affects the overall performance, and that there is no statistically significant difference in using gazetteers, shallow parsing and propositional noun phrases labels on top of the morphological features. On the test data, the best run achieved 0.95 (P), 0.85 (R) and 0.90 (F1) in the identification phase. Normalization accuracies are 0.84 (type attribute) and 0.77 (value attribute). Surprisingly, the use of the silver data (alone or in addition to the gold annotated ones) does not improve the performance.

연구 동기 및 목표

• TempEval-3 챌린지에서 시간 표현 식별 및 정규화를 위한 견고한 시스템을 개발하는 것.
• 형태학적, 문법적, 지명사전, WordNet 기반 특징 등의 다양한 특징 유형이 식별 성능에 미치는 영향을 평가하는 것.
• 금표준 데이터를 사용할 경우 골드 애너테이션 데이터만 사용하는 것과 비교해 성능 향상이 이루어지는지 평가하는 것.
• 후처리 파이프라인이 CRF 기반 식별 결과를 향상시키는 데 효과적인지 조사하는 것.
• NorMA라는 업데이트된 규칙 기반 시스템을 사용해 정규화 정확도를 평가하는 것.

제안 방법

• 식별 단계는 BIO 레이블링 체계와 고유한 요소 그래프 구조를 갖춘 선형 조건부 랜덤 필드(CRF)를 사용한다.
• 특징으로는 형태학적(예: 단어 형태, 어간, 패턴, 정규 표현식), 문법적(구, 서술어 명사구), 지명사전(예: 도시, 국적), WordNet 기반 특징(예: 의미, 하위어, 상위어)이 포함된다.
• 후처리 파이프라인은 세 가지 모듈을 적용한다: 확률적 보정, BIO 수정기(잘못된 레이블 전이를 수정), 임계값 기반 레이블 전환(사전 확률이 0.87 초과일 경우 CRF 예측를 대체함).
• 정규화 단계는 시간 표현을 TimeML 형식의 유형 및 값 속성으로 매핑하기 위해 오픈소스 규칙 기반 정규화기 NorMA를 사용한다.
• 모델 선택 및 하이퍼파rameter 튜닝은 골드 및 은밀한 데이터의 혼합 학습 세트를 대상으로 5×10겹 교차검증을 사용했으며, 셔플링에 대해 시드=490을 사용했다.
• 최종 시스템은 F1, 정밀도, 재현도, 값/유형 정확도 지표를 사용해 TempEval-3 테스트 세트에서 평가되었다.

실험 결과

연구 질문

• RQ1 CRF 기반 시스템에서 WordNet 기반 특징의 포함 여부가 시간 표현 식별 성능에 향상 효과를 미치는가?
• RQ2 형태학적 특징 외에 문법적 및 지명사전 특징이 성능 향상에 유의미하게 기여하는가?
• RQ3 TE3Silver 코퍼스에서 유도된 은밀한 표준 데이터를 학습에 사용할 경우 성능 향상이 이루어지는가?
• RQ4 후처리 파이프라인이 시간 표현 식별의 정밀도와 재현도 향상에 얼마나 기여하는가?
• RQ5 학습 데이터 구성(골드 대 은밀한 데이터)이 시간 유형 및 값 속성 정규화 정확도에 미치는 영향은 무엇인가?

주요 결과

• 최고 성능을 기록한 런은 골드 애너테이션 데이터와 후처리 파이프라인을 사용해 식별 단계에서 정밀도 0.95, 재현도 0.85, F1 점수 0.90를 달성했다.
• WordNet 기반 특징 사용은 식별 성능을 유의미하게 저하시켰으며, ANOVA 분석 결과 p-값 0.0054로 통계적으로 유의미한 부정적 영향을 나타냈다.
• 문법적 및 지명사전 특징은 형태학적 특징만 사용한 경우와 비교해 통계적으로 유의미한 성능 향상이 없었으며, 추가 가치가 제한적임을 시사했다.
• 정규화는 유형 정확도 0.84와 값 정확도 0.77를 기록했으며, 새로운 어휘 패턴 및 값 해석에 어려움을 겪고 있음을 시사했다.
• 은밀한 데이터를 단독 또는 골드 데이터와 조합해 사용했을 때도 성능 향상이 없었으며, 크기가 7배나 큰 데도 불구하고 잡음이나 분포 불일치 가능성으로 인해 효과적이지 않았다.
• 후처리 파이프라인은 F1 점수를 2.27% 향상시켰으며(p=3.51×10−23), 특히 골드 애너테이션 데이터에서 가장 높은 성과를 기록해 CRF 예측을 정교화하는 데 효과적임을 입증했다.