[논문 리뷰] Dependency-Aware Named Entity Recognition with Relative and Global Attentions

Gustavo Aguilar, Thamar Solorio|arXiv (Cornell University)|2019. 09. 11.

Topic Modeling참고 문헌 34인용 수 10

한 줄 요약

이 논문은 종속성 트리의 문법적 관계를 포착하기 위해 Tree-LSTM와 상대적 및 전반적 어휘 주의 메커니즘을 통합한 종속성 인식 기반 명명된 실체 인식 모델을 제안한다. 이는 장거리 종속성을 처리함으로써 성능을 향상시킨다. 모델은 문법적 역할에 따라 실체 유형을 드러내는 동사(행동이나 위치를 나타내는)와 같은 문법적으로 정보가 풍부한 단어에 주의를 기울임으로써 OntoNotes 5.0 (BN) 및 SemEval 2010 데이터셋에서 새로운 최고 성능 기록을 달성한다.

ABSTRACT

Named entity recognition is one of the core tasks in NLP. Although many improvements have been made on this task during the last years, the state-of-the-art systems do not explicitly take into account the recursive nature of language. Instead of only treating the text as a plain sequence of words, we incorporate a linguistically-inspired way to recognize entities based on syntax and tree structures. Our model exploits syntactic relationships among words using a Tree-LSTM guided by dependency trees. Then, we enhance these features by applying relative and global attention mechanisms. On the one hand, the relative attention detects the most informative words in the sentence with respect to the word being evaluated. On the other hand, the global attention spots the most relevant words in the sequence. Lastly, we linearly project the weighted vectors into the tagging space so that a conditional random field classifier predicts the entity labels. Our findings show that the model detects words that disclose the entity types based on their syntactic roles in a sentence (e.g., verbs such as speak and write are attended when the entity type is PERSON, whereas meet and travel strongly relate to LOCATION). We confirm our findings and establish a new state of the art on two datasets.

연구 동기 및 목표

• 기존 NER 모델이 텍스트를 선형적 순서로만 다루며 재귀적 문법적 구조를 忽시하는 한계를 해결하기 위해.
• 문법적 종속성이 정확한 실체 레이블링에 핵심적인 장문이나 복잡한 문장에서의 성능 향상을 위해.
• 어휘 주의 메커니즘이 실체 유형을 시사하는 문법적으로 정보가 풍부한 단어를 효과적으로 강조할 수 있는지 조사하기 위해.
• 심층적 문맥 표현과 문법적 구조를 통합하여 NER 분야에서 새로운 최고 성능 기록을 수립하기 위해.
• 실험 및 결과의 완전한 재현 가능성을 위해 코드와 분석을 공개하기 위해.

제안 방법

• 모델은 종속성 트리를 기반으로 하여 문법적 구조를 인코딩하는 데 Tree-LSTM 아키텍처를 사용하여 단어 간 재귀적 관계를 포착한다.
• 상대적 어휘 주의를 적용하여 각 대상 단어에 대해 문법적 및 의미적 관련성이 높은 문맥 내에서 가장 정보가 풍부한 단어를 식별한다.
• 전반적 어휘 주의를 사용하여 전체 문장에서 가장 두드러진 단어를 강조함으로써 국소적 및 전반적 문맥을 균형 있게 조절한다.
• Tree-LSTM와 BiLSTM의 은닉 표현을 연결하여 태깅 공간으로 투영한 후 CRF 디코딩을 수행한다.
• 최종 실체 레이블은 투영된 표현 위에 조건부 랜덤 필드(CRF) 계층을 사용하여 예측한다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 표준 NER 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 NER에 종속성 트리 구조를 통합하면 장문이나 복잡한 문장에서 성능 향상에 기여하는가?
• RQ2 상대적 및 전반적 어휘 주의 메커니즘이 실체 유형을 시사하는 문법적으로 정보가 풍부한 단어를 식별하는 데 도움이 되는가?
• RQ3 의존성 파싱의 품질이 모델의 성능 및 내성에 어떤 영향을 미치는가?
• RQ4 모델은 실체 유형과 그 문법적 역할(예: 동사가 주어 또는 목적어일 경우) 간의 의미 있는 상관관계를 학습할 수 있는가?
• RQ5 문법적 및 의미적 특징의 통합이 NER 분야에서 새로운 최고 성능 기록을 이끌 수 있는가?

주요 결과

• OntoNotes 5.0 라디오 뉴스 섹션에서 F1 스코어 89.22로 새로운 최고 성능 기록을 달성한다.
• SemEval 2010 데이터셋에서 F1 스코어 86.49를 기록하여 새로운 최고 성능 기록을 수립한다.
• 의존성 트리가 자동으로 생성될 경우 SemEval 2010에서 F1 스코어가 3.31 포인트 하락하여 파싱 품질에 매우 의존함을 시사한다.
• PERSON 실체를 식별할 때 'speak', 'write', 'die'와 같은 동사를 주의를 기울이는 경향을 보이며, LOCATION 실체에는 'travel', 'meet', 'entitle'을 주로 주목한다.
• 'president', 'officer', 'assistant'와 같은 단어는 PERSON 실체 식별에서 자주 주목되며 역할 기반 단서를 인식함을 나타낸다.
• 오류 분석 결과 자동 파싱에서 유도된 다중 루트 종속성 트리가 성능 저하를 야기하며, 특히 음성 전사 데이터를 포함한 데이터셋에서 뚜렷한 영향을 미친다.