[논문 리뷰] On Event Causality Detection in Tweets

Humayun Kayesh, Md. Saiful Islam외 1명|arXiv (Cornell University)|2019. 01. 11.

Complex Network Analysis Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 뉴스 기사에서 추출한 공통 지식 배경 지식을 활용하여 이벤트 인과성 탐지에 대한 특징 표현을 향상시키기 위해 공통 지식 기반의 이벤트 맥락 단어 확장 기법을 제안한다. 피드포워드 신경망에 이 방법을 통합함으로써, 기존 방법 대비 F1 스코어 306% 이상, 재현율 570% 이상 향상된 64.59%의 F1 스코어를 달성한다.

ABSTRACT

Nowadays, Twitter has become a great source of user-generated information about events. Very often people report causal relationships between events in their tweets. Automatic detection of causality information in these events might play an important role in predictive event analytics. Existing approaches include both rule-based and data-driven supervised methods. However, it is challenging to correctly identify event causality using only linguistic rules due to the highly unstructured nature and grammatical incorrectness of social media short text such as tweets. Also, it is difficult to develop a data-driven supervised method for event causality detection in tweets due to insufficient contextual information. This paper proposes a novel event context word extension technique based on background knowledge. To demonstrate the effectiveness of our proposed event context word extension technique, we develop a feed-forward neural network based approach to detect event causality from tweets. Extensive experiments demonstrate the superiority of our approach.

연구 동기 및 목표

• 구조가 흐트러지고 비공식적인 트윗에서 언어적 다양성과 맥락 정보 부족으로 인해 발생하는 인과 관계 탐지 과제를 해결하기 위해.
• 공통 지식 배경 지식을 활용해 특징 표현을 향상시켜 지도 학습 기반의 인과성 탐지 성능을 향상시키기 위해.
• 확장된 이벤트 맥락 단어를 활용해 짧은 소셜 미디어 텍스트 내 인과 관계를 보다 잘 포착할 수 있는 신경망 모델을 개발하기 위해.
• 특히 자원이 부족하고 노이즈가 많은 환경인 트윗에서 맥락 단어 확장 기법의 인과성 탐지 성능에 미치는 영향을 평가하기 위해.
• 배경 지식를 통한 특징 강화가 모델의 일반화 능력과 미리 보지 않은 트윗 데이터에 대한 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 사전 정의된 인과 관계 힌트어(예: 'because', 'due to')를 사용해 뉴스 기사에서 인과 네트워크를 구축하고, 공통 지식 배경 지식을 추출한다.
• 트윗 내 후보 원인 및 결과 이벤트의 关련어를 사전에 구축된 인과 네트워크에서 의미적으로 유사한 단어로 검색하여 키워드를 확장한다.
• 확장된 맥락 단어로 강화된 입력 특징을 사용해 피드포워드 신경망을 통해 이벤트 쌍 간의 인과 관계를 분류한다.
• 단어 임베딩과 위치 인코딩을 적용하여 트윗 텍스트 내 문법적 및 의미적 구조를 포착한다.
• 과적합을 방지하고 수렴성을 향상시키기 위해 하이퍼파라미터(학습률 = 0.1, 배치 크기 = 10, 150회 학습 반복)를 최적화한다.
• 정확도, 정밀도, 재현율, F1 스코어 등의 표준 지표와 ROC 곡선을 사용해 다양한 확장 설정(0-, 2-, 3단어 확장)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 뉴스 기사에서 추출한 배경 지식이 트윗의 인과성 탐지에 특징 표현을 효과적으로 향상시킬 수 있는가?
• RQ2 확장된 맥락 단어의 수가 트윗 내 이벤트 인과성 탐지 성능에 미치는 영향은 어떠한가?
• RQ3 제안된 맥락 단어 확장 기법이 단지 이벤트 키워드나 간단한 특징 공학 기반의 기준 모델보다 우월한가?
• RQ4 공통 지식을 활용할 경우 짧고 비공식적인 소셜 미디어 텍스트에서 맥락 부족 문제를 어느 정도 완화할 수 있는가?
• RQ5 제안된 방법은 미리 보지 않은 트윗 데이터에 일반화 가능한가? 기존 최신 기술 기반 인과성 탐지 시스템과 비교해 어떻게 성능을 냈는가?

주요 결과

• 2단어 맥락 확장 기법을 적용한 제안된 방법이 가장 높은 F1 스코어 64.59%를 기록했으며, 확장 없이 적용한 기준 방법보다 유의미하게 높은 성능을 보였다.
• 2단어 확장 설정에서 기존 최신 기술인 FFNN+Position 대비 재현율 570% 향상, F1 스코어 306% 향상된 성과를 기록했다.
• 3단어를 초과해 확장을 수행할 경우 성능이 급격히 떨어지며, 외부 지식에 과도하게 의존할 경우 원래의 이벤트 신호가 흐려질 수 있음을 시사한다.
• 2단어 확장 기법의 AUC는 0단어 확장 기법보다 높았으며, 이는 분류 성능 향상과 더불어 더 나은 분류 능력을 확인시켰다.
• 맥락 단어 확장을 통해 강화된 특징을 기반으로 학습된 모델은 새로운 테스트 데이터에 대해 더 우수한 일반화 능력을 보였으며, 트윗의 노이즈와 비공식성에 대한 강건성을 입증했다.
• 모든 평가 지표에서 기존의 접근 방식인 Commonsense [7], Commonsense+Multi-word [10], FFNN+Position [11]을 모두 초월하는 성능을 기록했다.