[논문 리뷰] Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction

Angrosh Mandya, Danushka Bollegala외 2명|arXiv (Cornell University)|2018. 11. 02.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 단어 임베딩과 위치 임베딩을 조합하여 다중 문장에 걸친 n-항 관계 추출을 향상시키기 위해 LSTM-CNN 하이브리드 모델을 제안한다. 장거리 순차 모델링과 주요 특징 추출을 활용하여 벤치마크 데이터셋에서 기존의 기준 모델 및 최신 기술(SOTA)을 크게 앞서며 성능을 높였다.

ABSTRACT

We propose in this paper a combined model of Long Short Term Memory and Convolutional Neural Networks (LSTM-CNN) that exploits word embeddings and positional embeddings for cross-sentence n-ary relation extraction. The proposed model brings together the properties of both LSTMs and CNNs, to simultaneously exploit long-range sequential information and capture most informative features, essential for cross-sentence n-ary relation extraction. The LSTM-CNN model is evaluated on standard dataset on cross-sentence n-ary relation extraction, where it significantly outperforms baselines such as CNNs, LSTMs and also a combined CNN-LSTM model. The paper also shows that the LSTM-CNN model outperforms the current state-of-the-art methods on cross-sentence n-ary relation extraction.

연구 동기 및 목표

• 기존의 패턴 기반 또는 의존성 기반 방법이 어려운 다수의 문장에 걸쳐 퍼진 n-항 관계 추출 과제를 해결한다.
• 다중 문장 관계 추출에서 장거리 의존성과 가변 길이 텍스트 스파이크 처리의 한계를 극복한다.
• 순차 모델링의 강점과 특징 추출의 강점을 효과적으로 조합하는 신경망 모델을 개발한다.
• 단어 빈도(wf)와 위치 특징(pf)와 같은 단순하지만 효과적인 특징을 통합하여 n-항 관계 추출 성능을 향상시킨다.
• 복잡한 언어학적 특징 또는 다중 작업 학습에 의존하는 모델보다 단순한 엔드 투 엔드 딥 러닝 모델이 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• t개의 연속된 문장의 토큰을 연결하여 얻은 시퀀스를 인코딩하기 위해 양방향 LSTM을 첫 번째 레이어로 사용하여 장거리 의존성을 포착한다.
• LSTM의 은닉 상태에 1차원 컨volutional 신경망(CNN)을 적용하여 관계 분류에 관련된 국소적이고 주요한 특징을 추출한다.
• 토큰의 위치와 의미적 내용을 향상시키기 위해 단어 임베딩과 위치 임베딩을 입력 특징으로 통합한다.
• 고정 길이의 표현으로 가변 길이의 텍스트 스파이크를 처리하기 위해 통합된 LSTM-CNN 아키텍처를 사용하여 n-항 관계를 분류한다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하며, 분류 이전에 시퀀스 길이를 줄이기 위해 어텐션 메커니즘 또는 풀링을 활용한다.
• 추가 특징(wf 및 pf)이 있는지 여부에 따라 모델을 평가하여 단순한 특징만으로도 높은 성능을 달성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 LSTM-CNN 하이브리드 모델이 두 개 이상의 실체를 포함하는 다중 문장에 걸친 n-항 관계를 효과적으로 추출할 수 있는가?
• RQ2 제안된 LSTM-CNN 모델이 단독 CNN, LSTM, CNN-LSTM 모델과 비교하여 다중 문장 n-항 관계 추출에서 어떤 성능을 보이는가?
• RQ3 복잡한 언어학적 특징과 비교해 단순한 특징인 단어 빈도(wf)와 위치 특징(pf)이 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 모델이 표준 벤치마크 데이터셋에서 다중 문장 n-항 관계 추출에 대해 최신 기술(SOTA)을 초월하는가?
• RQ5 외부 지식 기반 또는 복잡한 파싱에 의존하지 않고도 다양한 텍스트 스파이크 길이(단일 문장 대 다중 문장)에 대해 일반화 성능이 우수한가?

주요 결과

• 제안된 LSTM-CNN+wf+pf 모델은 q&p 데이터셋에서 다중 문장 삼항 관계 추출에서 F1 스코어 82.9를 기록하여 이전 SOTA 방법(80.7)을 크게 앞서며 성능을 높였다.
• CID 데이터셋에서는 다중 문장 이항 관계 추출에서 F1 스코어 63.0을 기록하여 CNN, LSTM, CNN+LSTM 모델을 포함한 모든 기준 모델을 능가했다.
• q&p 데이터셋에서 다중 문장 n-항 관계 추출에 대해 F1 스코어 82.9를 달성하여 이전 SOTA의 80.7%를 초월했다.
• 복잡한 언어학적 특징, 최대 엔트로피, SVM 기반 방법을 사용한 모델보다 wf 및 pf 특징을 포함한 LSTM-CNN 모델이 더 높은 F1 스코어를 기록했다.
• LSTM과 CNN의 조합은 단독 CNN 또는 LSTM 모델보다 더 우수한 정밀도와 재현율 균형을 보였으며, CNN에 wf 또는 wf+pf를 적용했을 경우 F1 스코어는 각각 69.7과 78.9였다.
• 외부 지식 기반 또는 개발 세트 튜닝 없이도 다양한 텍스트 스파이크 길이에 대해 강건한 성능을 보이며 일반화 능력이 뛰어났다.