[논문 리뷰] Open Event Extraction from Online Text using a Generative Adversarial Network

Rui Wang, Deyu Zhou외 1명|arXiv (Cornell University)|2019. 08. 25.

Topic Modeling참고 문헌 27인용 수 6

한 줄 요약

이 논문은 생성적 적대적 네트워크 기반의 오픈 도메인 이벤트 추출을 위한 Adversarial-neural Event Model (AEM)을 제안한다. AEM은 생성자 네트워크와 판별자 네트워크를 통해 이벤트를 모델링하여 현실성과 효율성을 향상시킨다. AEM은 베이지안 기반 모델보다 뛰어나며, 특히 장문의 텍스트에서 뛰어난 성능을 보이며 뉴스 기사에서 F-측정치 15.5% 향상을 달성하고 학습 시간을 크게 단축시켰다.

ABSTRACT

To extract the structured representations of open-domain events, Bayesian graphical models have made some progress. However, these approaches typically assume that all words in a document are generated from a single event. While this may be true for short text such as tweets, such an assumption does not generally hold for long text such as news articles. Moreover, Bayesian graphical models often rely on Gibbs sampling for parameter inference which may take long time to converge. To address these limitations, we propose an event extraction model based on Generative Adversarial Nets, called Adversarial-neural Event Model (AEM). AEM models an event with a Dirichlet prior and uses a generator network to capture the patterns underlying latent events. A discriminator is used to distinguish documents reconstructed from the latent events and the original documents. A byproduct of the discriminator is that the features generated by the learned discriminator network allow the visualization of the extracted events. Our model has been evaluated on two Twitter datasets and a news article dataset. Experimental results show that our model outperforms the baseline approaches on all the datasets, with more significant improvements observed on the news article dataset where an increase of 15\% is observed in F-measure.

연구 동기 및 목표

• 기존의 베이지안 모델이 문서의 모든 단어가 하나의 이벤트에서 유래된다고 가정하는 한계를 해결하기 위해, 뉴스 기사와 같은 장문의 텍스트에서는 이러한 가정이 성립하지 않음.
• 기존 모델에서 사용하는 거듭제곱 추론의 느린 수렴 문제를 해결하기 위해 반복적 추론을 적대적 학습으로 대체함.
• 짧은 소셜 미디어 글부터 긴 뉴스 기사에 이르기까지 다양한 텍스트 유형에서 효과적인 이벤트 추출을 가능하게 함.
• 학습된 판별자 네트워크를 통해 추출된 이벤트의 가시화 가능한 저차원 특징을 제공함.
• 실제 온라인 텍스트 데이터셋에서 성능을 유지하거나 향상시키면서도 계산 효율성을 향상시키기 위함.

제안 방법

• 디리클레 사전 분포에서 유도된 임의의 노이즈를 사용해 생성자 네트워크를 통해 잠재적 이벤트 표현으로 매핑하며, 이를 통해 개체, 위치, 关련 키워드, 날짜 분포를 모델링함.
• 실제 입력 문서와 잠재적 이벤트에서 재구성된 생성 문서를 구분할 수 있도록 판별자 네트워크를 학습함.
• 판별자가 실제 문서와 생성 문서를 구분하는 능력을 최소화하도록 하는 적대적 학습을 통해 생성자 네트워크를 최적화함.
• 학습된 판별자의 특징 표현을 활용해 t-SNE를 사용하여 추출된 이벤트의 시각화 및 군집화를 수행함.
• 적대적 손실과 재구성 손실을 통합한 공동 손실 함수를 사용하여 생성된 이벤트 기반 문서의 품질을 향상시킴.
• 판별자 반복 횟수, 은닉층 크기, 생성자 깊이 등의 하이퍼파라미터를 조정하여 모델의 강건성과 성능을 평가함.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 오픈 도메인 온라인 텍스트, 특히 장문의 문서에서 구조화된 이벤트 표현을 효과적으로 추출할 수 있는가?
• RQ2 기존의 베이지안 그래픽 모델(Lemma-based Event Model, LEM 및 Dynamic Priors Event Mixture Model, DPEMM)에 비해 적대적 학습이 이벤트 추출 성능을 향상시키는가?
• RQ3 제안된 모델은 베이지안 모델에서 사용하는 거듭제곱 추론 기반의 학습 시간에 비해 얼마나 줄일 수 있는가?
• RQ4 판별자가 학습한 특징이 추출된 이벤트의 의미 있는 시각화와 군집화를 가능하게 하는가?
• RQ5 짧은 트윗과 긴 뉴스 기사와 같은 다양한 텍스트 유형 간에 모델 성능은 어떻게 달라지는가?

주요 결과

• AEM는 구글 뉴스 기사 데이터셋에서 LEM 기반 모델 대비 F-측정치 15.5% 향상되어 장문 텍스트에서 뛰어난 성능을 입증함.
• 트위터 데이터셋에서는 LEM 대비 F-측정치 4.4% 향상되고 DPEMM 대비 3.7% 향상되어 짧은 텍스트에서도 일관된 성능 향상을 보임.
• 모델은 LEM 및 DPEMM가 요구하는 학습 시간의 일부분으로 줄여, 특히 구글 뉴스와 같은 대규모 데이터셋에서 뚜렷한 성과를 기록함.
• 5층의 생성자 아키텍처가 가장 우수한 성능을 보이며, 구글 데이터셋에서 F-측정치 96.7%를 달성했고, 최악의 구성조차도 85.7%의 성능을 기록함.
• t-SNE 시각화 결과, 동일한 이벤트를 기술하는 문서들이 유사한 군집으로 묶여 있음을 확인하여 학습된 특징의 분류 능력이 검증됨.
• 판별자의 특징은 추출된 이벤트의 효과적인 시각화를 가능하게 하여 표준 이벤트 추출 메트릭스를 넘어서 해석 가능성을 제공함.