[논문 리뷰] Structure Regularized Bidirectional Recurrent Convolutional Neural Network for Relation Classification

Wen Ji|arXiv (Cornell University)|2017. 11. 06.

Topic Modeling참고 문헌 13인용 수 6

한 줄 요약

이 논문은 관계 분류를 위한 구조 정규화 이중방향 순환 컨볼루션 신경망(SR-BRCNN)을 제안하며, 의존 트리 구조와 구조 정규화를 활용하여 중국어 Sanwen 및 SemEval-2010 데이터셋에서 성능을 향상시킨다. 이 방법은 최단 의존 경로(SDP)를 따라 관계 표현 학습을 향상시키기 위해 의존 트리의 전치사 또는 무작위 분해를 적용함으로써 기준 모델 대비 F₁ 스코어를 10.3점 향상시킨다.

ABSTRACT

Relation classification is an important semantic processing task in the field of natural language processing (NLP). In this paper, we present a novel model, Structure Regularized Bidirectional Recurrent Convolutional Neural Network(SR-BRCNN), to classify the relation of two entities in a sentence, and the new dataset of Chinese Sanwen for named entity recognition and relation classification. Some state-of-the-art systems concentrate on modeling the shortest dependency path (SDP) between two entities leveraging convolutional or recurrent neural networks. We further explore how to make full use of the dependency relations information in the SDP and how to improve the model by the method of structure regularization. We propose a structure regularized model to learn relation representations along the SDP extracted from the forest formed by the structure regularized dependency tree, which benefits reducing the complexity of the whole model and helps improve the $F_{1}$ score by 10.3. Experimental results show that our method outperforms the state-of-the-art approaches on the Chinese Sanwen task and performs as well on the SemEval-2010 Task 8 dataset\footnote{The Chinese Sanwen corpus this paper developed and used will be released in the further.

연구 동기 및 목표

• 이름 엔터티 인식 및 관계 분류에서 저자원 및 비논리적인 중국어 Sanwen 텍스트의 과제를 해결하기 위해.
• 최단 의존 경로(SDP)의 의존 구조 정보를 활용하여 관계 분류 성능을 향상시키기 위해.
• 이중방향 순환 신경망(BRCNN)과 같은 시퀀스 기반 모델에서의 구조 정규화의 효과를 탐색하여 일반화 능력 향상과 복잡도 감소를 위해.
• 미래의 저자원 NLP 작업을 지원하기 위해 새로운 대규모 중국어 Sanwen 코퍼스를 개발하기 위해.

제안 방법

• 모델은 두 개의 엔터티 사이의 최단 의존 경로(SDP)를 인코딩하기 위해 이중방향 순환 컨볼루션 신경망(BRCNN)을 사용한다.
• 의존 트리를 전치사 또는 무작위 노드 제거를 통해 부분 트리로 분해함으로써 구조 정규화를 적용하여 모델 복잡도를 감소시킨다.
• 전치사 구문을 분해점으로 사용함으로써 부분 트리 내부의 일관성을 유지하여 구조 정보 유지 능력을 향상시킨다.
• 정규화된 SDP를 따라 이중방향 LSTM과 CNN 레이어를 조합하여 관계 표현을 학습한다.
• 전치사 기반 분해가 무작위 정규화나标 punctuational 기반 커팅보다 구조적 관련성을 더 잘 유지함을 입증하였다.
• 프레임워크는 새로 공개된 중국어 Sanwen 코퍼스와 SemEval-2010 벤치마크에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 구조 정규화는 BRCNN 모델에서 관계 분류 성능을 어떻게 향상시키는가?
• RQ2 복잡도를 감소시키면서도 구조적 관련성을 유지하기 위한 의존 트리 분해의 최적 방법은 무엇인가?
• RQ3 전치사 구문은 중국어 텍스트에서 의존 트리 정규화를 위한 효과적인 분해점이 될 수 있는가?
• RQ4 제안된 SR-BRCNN 모델은 저자원 및 비논리적인 중국어 Sanwen 텍스트에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ5 새로운 중국어 Sanwen 코퍼스의 사용이 관계 분류에서 모델 훈련 및 평가에 얼마나 기여하는가?

주요 결과

• 제안된 SR-BRCNN 모델은 중국어 Sanwen 데이터셋에서 기준 모델 대비 F₁ 스코어를 10.3점 향상시켰다.
• 의존 트리의 전치사 기반 분해가 무작위 분해나 구두점 기반 커팅보다 더 높은 성능을 내었다.
• 구조 정규화는 성능을 유지하거나 향상시키면서도 모델 복잡도를 감소시켜, 시퀀스 모델링에서의 효과성을 입증하였다.
• 모델은 SemEval-2010 Task 8 벤치마크에서 경쟁력 있는 성능을 보이며, 다양한 도메인으로의 일반화 능력을 확인하였다.
• 726편의 기사와 13.2MB의 텍스트를 포함하는 새로 개발된 중국어 Sanwen 코퍼스는 저자원 중국어 NLP 데이터셋의 부족을 해소한다.
• 결과는 정규화를 통한 구조 정보 통합이 특히 복잡하고 비논리적인 텍스트인 중국어 Sanwen에서 관계 표현 학습을 향상시킨다는 점을 검증하였다.