[논문 리뷰] Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts

Qiongxing Tao, Xiangfeng Luo외 1명|arXiv (Cornell University)|2019. 12. 04.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 문법적 지표—관계의 의미를 나타내는 키워드인 전치사와 같은 구문—과 전체 문장의 맥락을 통합함으로써 관계 추출을 향상시키는 지표 인식 신경망 모델을 제안한다. 수동으로 추출한 문법적 지표에서 유도된 제약 조건을 적용한 BERT 기반 인코딩을 통해 노이즈를 줄이고 더 정보적인 특징을 포착함으로써 SemEval-2010 벤치마크에서 90.36%의 F1 스코어를 기록하며 최신 기술을 초월한다.

ABSTRACT

State-of-the-art methods for relation extraction consider the sentential context by modeling the entire sentence. However, syntactic indicators, certain phrases or words like prepositions that are more informative than other words and may be beneficial for identifying semantic relations. Other approaches using fixed text triggers capture such information but ignore the lexical diversity. To leverage both syntactic indicators and sentential contexts, we propose an indicator-aware approach for relation extraction. Firstly, we extract syntactic indicators under the guidance of syntactic knowledge. Then we construct a neural network to incorporate both syntactic indicators and the entire sentences into better relation representations. By this way, the proposed model alleviates the impact of noisy information from entire sentences and breaks the limit of text triggers. Experiments on the SemEval-2010 Task 8 benchmark dataset show that our model significantly outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존의 관계 추출 모델이 모든 단어를 동일하게 취급하고 정보적인 문법적 단서를 忽略하는 데서 기인하는 한계를 해결하기 위해.
• 관계 분류 정확도를 저해하는 문장 내 관련 없는 단어에서 발생하는 노이즈를 줄이기 위해.
• 문법적 지표—관계의 의미를 나타내는 표현인 'moved into'과 같은 구문—를 식별하고 활용하여 관계 추출 성능을 향상시키기 위해.
• 고정된 어휘 트리거에 의존하는 것에서 벗어나, 명시적인 트리거가 존재하지 않을 경우 실패하는 문제를 해결하기 위해.
• 전체 문장 맥락과 문법적 지표를 융합할 경우 관계 추출 성능이 향상됨을 입증하기 위해.

제안 방법

• 문법적 지표는 실체 정규화, 주요 성분 추출, 관련 없는 실체 제거 등의 문법 지식을 활용하여 추출된다.
• 모델은 전체 문장과 추출된 문법적 지표를 모두 표현하기 위해 BERT 기반의 문맥 인코더를 사용한다.
• 문법적 지표는 문맥 표현을 안내하는 제약 조건으로 사용되어 모델이 관계 관련 특징에 집중하도록 유도된다.
• 이중 스트림 인코딩 기법을 통해 전체 문장과 문법적 지표 시퀀스를 별도로 처리한 후, 두 표현을 융합한다.
• 융합된 표현을 기반으로 분류기 헤드를 통해 최종 분류를 수행하며, 지표가 감독 신호 역할을 한다.
• 비-BERT 모델(예: CNN 및 Bi-LSTM 구성 요소 포함)을 사용한 아블레이션 스터디를 포함하여, BERT 기반 및 비-BERT 모델 모두에서 접근 방식을 검증하였다.

실험 결과

연구 질문

• RQ1 전치사나 방향성 어휘와 같은 문법적 지표는 표준 문장 수준의 모델링을 넘어서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 문법적 지표를 통합할 경우, 문장 내 관련 없는 단어에서 기인하는 노이즈를 줄이는 데 모델의 능력이 어떻게 향상되는가?
• RQ3 문법적 지표를 통합할 경우, 실체 간 거리나 고정된 어휘 트리거에 의존하는 모델 대비 성능 향상 정도는 어느 정도인가?
• RQ4 문맥 표현에 문법적 지표를 제약 조건으로 적용할 경우, 관계 분류의 정확성과 견고성이 향상되는가?
• RQ5 제안된 지표 인식 기반 접근 방식이 다양한 관계 유형, 특히 실체 간 간격에서 노이즈가 높은 관계 유형에 대해 일반화 가능한가?

주요 결과

• 제안된 BERT 기반 모델은 SemEval-2010 Task 8 벤치마크에서 90.36%의 F1 스코어를 기록하여 최신 기술을 초월한다.
• 문법적 지표의 포함으로 모든 관계 유형에서 F1 스코어가 향상되었으며, 특히 Instrument-Agency(+3.13 pp), Member-Collection(+3.06 pp), Message-Topic(+2.61 pp), Product-Producer(+5.95 pp)에서 가장 뚜렷한 향상이 관찰되었다.
• 비-BERT 모델(합성곱 신경망과 Bi-LSTM 모듈 조합)은 85.9%의 F1 스코어를 기록하여 다른 CNN 기반 및 RNN 기반 모델, WordNet 또는 NER 태그와 같은 고수준 특징을 사용한 모델들을 모두 능가했다.
• 문법적 지표 제약 조건을 제거할 경우 성능 저하가 발생하여, 지표가 표현 학습을 향상시키는 의미 있는 제약 조건으로 작용한다는 것이 확인되었다.
• 전체 문장과 지표 시퀀스의 특징을 융합한 결과가 각각의 특징만 사용할 경우보다 더 우수한 성능을 보였으며, 이는 두 구성 요소가 상호 보완적인 가치를 지닌다는 것을 입증한다.
• 전체 문장 특징을 필터링 없이 과도하게 사용할 경우 성능 저하가 발생하여, 제거해야 할 노이즈가 존재한다는 것이 확인되었다.