[논문 리뷰] Improving Slot Filling Performance with Attentive Neural Networks on Dependency Structures

Lifu Huang, Avirup Sil외 2명|arXiv (Cornell University)|2017. 07. 04.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 질의와 후보 채우기 요소 사이의 넓은 문맥적 범위를 압축하기 위해 정규화된 의존성 그래프를 사용하는 새로운 DNN 아키텍처를 제안한다. 이는 국소적 및 전역적 어텐션 메커니즘을 결합하여 유의미한 문맥적 단서를 강조한다. 이 방법은 관계 추출 작업에서 최대 16%의 절대 F-스코어 향상과 슬롯 채우기 검증에서 최대 8.5%의 성능 향상을 달성하며, 최신 기술을 초월한다.

ABSTRACT

Slot Filling (SF) aims to extract the values of certain types of attributes (or slots, such as person:cities\_of\_residence) for a given entity from a large collection of source documents. In this paper we propose an effective DNN architecture for SF with the following new strategies: (1). Take a regularized dependency graph instead of a raw sentence as input to DNN, to compress the wide contexts between query and candidate filler; (2). Incorporate two attention mechanisms: local attention learned from query and candidate filler, and global attention learned from external knowledge bases, to guide the model to better select indicative contexts to determine slot type. Experiments show that this framework outperforms state-of-the-art on both relation extraction (16\% absolute F-score gain) and slot filling validation for each individual system (up to 8.5\% absolute F-score gain).

연구 동기 및 목표

• 슬롯 채우기 과정에서 질의와 채우기 엔티티 사이의 넓은 문맥적 갭 문제를 해결하기 위해 기존의 관계 추출 모델이 효과적으로 대응하지 못하는 문제를 다루기 위함.
• 원문 문장을 대체로 의존성 구조를 모델링함으로써 장거리 의존성을 더 효과적으로 포착함으로써 슬롯 채우기 성능을 향상시키기 위함.
• 국소적 어텐션(질의-채우기 관련)과 전역적 어텐션(외부 지식 기반 데이터베이스에서 유래)을 통합하여 슬롯 유형 지시자 식별을 향상시키기 위함.
• 수작업 특징에 대한 의존도를 줄이고, 특히 미세한 분류나 암묵적인 슬롯 유형에 대해 일반화 능력을 향상시키기 위함.

제안 방법

• 의존성 분석 결과를 기반으로 정규화된 의존성 그래프를 구성하여 질의와 후보 채우기 엔티티 사이의 넓은 문맥을 압축한다.
• 의존성 그래프 내 모든 <지배어, 종속어> 단어 쌍을 입력으로 사용하여 컨볼루션 신경망(CNN)을 적용한다.
• 각 바이그램과 질의 및 후보 채우기 벡터의 연결된 표현 간의 관련성을 계산하는 국소적 어텐션을 적용한다.
• 사전 학습된 슬롯 유형 표현을 사용하여 변환 행렬을 통해 각 슬롯 유형에 대한 바이그램의 관련성을 측정하는 전역적 어텐션을 구현한다.
• 두 어텐션 메커니즘을 통합하여 풀링을 이끌어내며, 슬롯 유형 예측을 위한 문맥적으로 관련된 특징에 집중한다.
• 외부 지식 기반 데이터베이스를 활용하여 전역적 어텐션을 강화함으로써 암묵적 또는 모호한 트리거 식별을 향상시킨다.

실험 결과

연구 질문

• RQ1 슬롯 채우기 과제에서 딥 네트워크의 성능는 기존의 관계 추출 작업과 비교해 볼 때 어떻게 되며, 주요 차이점은 무엇인가?
• RQ2 의존성 그래프 표현이 질의와 채우기 엔티티 사이의 넓은 문맥적 범위를 효과적으로 압축하여 슬롯 채우기 성능 향상에 기여할 수 있는가?
• RQ3 국소적 및 전역적 어텐션 메커니즘이 슬롯 유형 분류를 위한 지시적 문맥적 단서 식별에 얼마나 기여하는가?
• RQ4 미세한 분류나 암묵적인 슬롯 유형에 대해, 특히 미묘하거나 모호한 트리거에 의존하는 경우 모델의 성능는 어떠한가?

주요 결과

• 제안된 모델은 최신 기술 대비 관계 추출 작업에서 최대 16%의 절대 F-스코어 향상을 달성한다.
• 슬롯 채우기 검증 과제에서 모델은 최대 8.5%의 절대 F-스코어 향상을 기록하며 뛰어난 일반화 능력을 입증한다.
• org:subsidiaries와 같이 명시적 트리거를 가진 슬롯 유형의 경우, 훈련 데이터가 제한적(507건 이하)이더라도 높은 성능를 기록한다.
• per:states_of_residence 및 per:employee_of와 같이 넓은 문맥적 갭이 존재하는 슬롯 유형에서 성능 향상이 가장 두드러지며, 이는 정규화된 의존성 그래프가 노이즈를 감소시켜 줌을 시사한다.
• org:location_of_headquarters와 같이 암묵적인 슬롯 유형의 경우, 더 큰 훈련 데이터가 존재함에도 불구하고 성능이 낮은 편이므로, 엔티티 유형에 대한 더 나은 감독 신호가 필요함을 시사한다.
• 오류 분석 결과, 58% 이상의 잘못된 분류 사례는 상충되는 단서 때문이었으며, 예를 들어 'home'과 같은 모호한 단어로 인해 per:city_of_residence를 per:city_of_death로 잘못 분류하는 경우가 많았다.