[논문 리뷰] Chinese Event Extraction Using DeepNeural Network with Word Embedding

Yandi Xia, Yang Liu|arXiv (Cornell University)|2016. 10. 04.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 수작업 특징 공학이 필요 없도록 단어 임베딩을 사용하는 딥 네ural 네트워크(DNN) 모델을 제안한다. 대규모의 레이블이 없는 텍스트를 활용해 단어 임베딩을 사전학습함으로써, 특히 재현율 측면에서 전통적인 특징 기반 시스템을 뛰어넘는 뛰어난 성능을 달성한다. 이는 자동으로 생성된 명시적 개체명을 사용할 때조차도 성립한다.

ABSTRACT

A lot of prior work on event extraction has exploited a variety of features to represent events. Such methods have several drawbacks: 1) the features are often specific for a particular domain and do not generalize well; 2) the features are derived from various linguistic analyses and are error-prone; and 3) some features may be expensive and require domain expert. In this paper, we develop a Chinese event extraction system that uses word embedding vectors to represent language, and deep neural networks to learn the abstract feature representation in order to greatly reduce the effort of feature engineering. In addition, in this framework, we leverage large amount of unlabeled data, which can address the problem of limited labeled corpus for this task. Our experiments show that our proposed method performs better compared to the system using rich language features, and using unlabeled data benefits the word embeddings. This study suggests the potential of DNN and word embedding for the event extraction task.

연구 동기 및 목표

• 딥 네럴 네트워크와 단어 임베딩이 중국어 이벤트 트리거 식별에서 수작업으로 설계된 언어학적 특징에 대한 의존도를 줄일 수 있는지 조사한다.
• 이 작업에 대해 전통적인 도메인 특화 특징보다 단어 임베딩이 더 효과적인 표현을 제공하는지 평가한다.
• 저자원 이벤트 추출 환경에서 대규모 레이블이 없는 데이터로 사전학습을 수행할 경우 모델 성능에 어떤 영향을 미치는지 조사한다.

제안 방법

• 모델은 POS 태그, 문법적 구조, 명시적 개체명과 같은 수작업으로 설계된 언어학적 특징을 대체하기 위해 문자 수준의 단어 임베딩을 입력 특징으로 사용한다.
• 입력 문자의 추상적이고 분산된 표현을 학습하기 위해 경사 하강법을 사용한 확률적 경사 하강법으로 엔드 투 엔드로 딥 네럴 네트워크를 훈련시킨다.
• 사전학습 단계에서는 100,000건의 레이블이 없는 중국 뉴스 기사 문서를 사용해 RNN 기반의 skip-gram word2vec 프레임워크를 활용해 단어 임베딩을 사전학습하고, 이후 레이블이 있는 이벤트 추출 작업에 맞게 미세조정한다.
• 최종 예측은 하이브리드 디코딩 전략을 사용한다: DNN의 출력을 발화 확률로 간주하고, CRF 모델의 전이 확률과 조합하여 시퀀스 레이블링 정확도를 향상시킨다.
• 시스템은 파이썬 기반의 딥 러닝 프레임워크인 Theano를 사용해 구현되어 있어 효율적인 계산과 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크와 단어 임베딩을 사용하면 중국어 이벤트 트리거 식별에서 수작업 특징 공학을 효과적으로 대체할 수 있는가?
• RQ2 이 작업에 대해 단어 임베딩이 전통적인 언어학적 특징보다 더 강건하고 일반화 능력이 뛰어난 표현을 제공하는가?
• RQ3 대규모 레이블이 없는 데이터로 사전학습을 수행할 경우 저자원 이벤트 추출 환경에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• 단어 임베딩을 사용하는 DNN 모델은 F1 스코어 64.29를 기록하여 자동으로 생성된 명시적 개체명을 사용하는 최고의 베이스라인 ME 분류기(F1: 61.44)를 뛰어넘었다.
• 레이블이 없는 데이터로 사전학습한 결과, 비사전학습 버전 대비 DNN의 F1 스코어가 12.92%포인트 향상되어(58.06에서 64.29로), 비지도 사전학습의 가치를 입증했다.
• 모델은 최고의 베이스라인(52.17%)보다 더 높은 재현율(61.14%)을 달성하여, 단어 임베딩이 의미적 유사성을 효과적으로 포착하고 새로운 또는 희귀 트리거 단어를 식별하는 데 도움이 된다는 것을 보여주었다.
• 최적의 단어 임베딩 차원은 약 100으로, 이보다 작은 크기의 경우 표현 능력이 부족하고, 더 큰 크기의 경우 과적합 및 일반화 능력 저하로 이어졌다.
• 골드 표준 명시적 개체명 인식을 사용하지 않아도, 지표가 진실된 NER에 의존하는 ME 분류기보다 DNN 모델이 더 뛰어난 성능을 보여, 임베딩 기반 접근의 강건성을 입증했다.