[논문 리뷰] ETH-DS3Lab at SemEval-2018 Task 7: Effectively Combining Recurrent and Convolutional Neural Networks for Relation Classification and Extraction

Jonathan Rotsztejn, Nora Hollenstein외 1명|arXiv (Cornell University)|2018. 04. 05.

Natural Language Processing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 SemEval-2018 Task 7에서 관계 분류 및 추출 분야에서 최고 성능을 달성하기 위해 도메인 특화 단어 임베딩과 광범위한 전처리를 통합한 하이브리드 딥러닝 시스템을 제안한다. 컨volutional(비디오) 신경망(CNN)과 순환 신경망(RNN)을 조합한 앙상블 모델은 네 개의 서브태스크 중 세 개에서 1위를 기록했으며, 정제된 데이터에서는 F1 스코어가 81.7%로, 노이즈가 있는 데이터에서는 90.4%로 나타나, CNN 및 RNN 아키텍처를 길이 인식형 융합 전략과 규칙 기반 후처리와 함께 조합하는 것이 매우 효과적임을 입증한다.

ABSTRACT

Reliably detecting relevant relations between entities in unstructured text is a valuable resource for knowledge extraction, which is why it has awaken significant interest in the field of Natural Language Processing. In this paper, we present a system for relation classification and extraction based on an ensemble of convolutional and recurrent neural networks that ranked first in 3 out of the 4 subtasks at SemEval 2018 Task 7. We provide detailed explanations and grounds for the design choices behind the most relevant features and analyze their importance.

연구 동기 및 목표

• 관계가 매우 전문적이고 맥락에 따라 달라지는 과학 문헌에서 관계 분류 및 추출을 위한 강력한 신경망 시스템을 개발하기 위해.
• 컨volutional 및 순환 아키텍처의 장점을 조합하여 정제된 데이터와 노이즈가 있는 데이터 양쪽에서 성능을 향상시키기 위해.
• 긴 문장에서의 관계 탐지 과제를 해결하기 위해 길이 인식형 가중치와 문장 자르기 기법을 통합하기 위해.
• 도메인 특화 단어 임베딩과 데이터 증강 기법을 통해 모델의 일반화 능력을 향상시키기 위해.
• 대칭적이고 겹치는 관계에 대해 annotation 체계와의 일관성을 확보하기 위해 규칙 기반 후처리를 시행하기 위해.

제안 방법

• 시스템은 두 개의 독립된 모델로 구성된 앙상블을 사용한다: 다중 필터 너비와 최대 풀링을 갖춘 1D-CNN과 정방향 및 역방향 인코딩을 수행하는 양방향 LSTM 네트워크.
• 단어 임베딩은 ArXiv와 ACL ARC에서 확보한 과학적 NLP 논문의 9100만 개 토큰을 기반으로 학습되었으며, 작업에 맞게 미세조정되었으며, 최적의 차원 수로 200차원이 선택되었다.
• 문장은 엔티티 사이의 범위만 포함하도록 자르며, 오류 예측을 줄이기 위해 최대 19단어의 길이 임계값을 적용한다.
• 동적이고 길이에 따라 변하는 융합 전략은 문장 길이를 정규화한 $ s_i $ 를 사용하여 긴 문장에서는 RNN 예측에 더 높은 가중치를 할당한다. 수식은 $ w_{rnn,i} = 0.5 + \text{sign}(s_i) \cdot s_i^2 $ 이다.
• 다양한 랜덤 시드를 기반으로 모델 출력을 평균내어 다양한 앙상블을 구성함으로써 일반화 능력과 견고성을 향상시킨다.
• 후처리 단계에서는 잘못된 COMPARE 예측을 거부하고, 겹치는 엔티티 관계를 충돌 해결 전략(먼저 짧은 관계, 그다음 클래스 빈도, 마지막으로 무작위 선택)을 통해 해결함으로써 annotation 일관성을 강화한다.

실험 결과

연구 질문

• RQ1 개별 모델에 비해 과학적 텍스트에서 관계 분류에 대해 CNN과 RNN 아키텍처를 조합하는 것이 얼마나 효과적인가?
• RQ2 도메인 특화 단어 임베딩과 데이터 전처리는 자원이 제한된, 노이즈가 많은 관계 추출 작업에서 성능 향상에 얼마나 기여하는가?
• RQ3 CNN과 RNN 예측을 길이 인식형으로 융합하는 전략이 과도한 오버피팅 없이 긴 문장에서의 성능 향상에 기여하는가?
• RQ4 데이터 증강과 문장 뒤집기 전략은 자원이 제한된 관계 분류 시나리오에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 앙상블 학습과 후처리는 SemEval-2018 Task 7에서 최고 성능을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 앙상블 모델은 Subtask 1.1(정제된 데이터)에서 F1 스코어 81.7%를 기록하여 14支 팀 중 1위를 차지했다.
• Subtask 1.2(노이즈가 있는 데이터)에서는 F1 스코어 90.4%를 기록하여 모든 제출 중 최고 점수를 기록했다.
• 공동 관계 추출 및 분류(Subtask 2.C)에서는 F1 스코어 49.3%를 기록하여 1위를 차지했다.
• 관계 추출 전용(Subtask 2.E)에서는 F1 스코어 48.8%로 2위를 기록하여 더 도전적인 추출 작업에서도 뛰어난 성능을 보였다.
• 특징 제거 실험 결과, 데이터 조합(CSD), 문장 뒤집기(RS), 데이터 생성(GD) 각각이 모델 유형과 무관하게 성능 향상에 기여하는 것으로 나타났다.
• 길이 인식형 융합 전략은 긴 문장에서의 성능 향상에 기여했으며, 이는 이 맥락에서 RNN이 CNN보다 장거리 의존성 처리에 더 효과적임을 확인시켰다.