[논문 리뷰] Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN

Yingqi Qu, Jie Liu외 3명|arXiv (Cornell University)|2018. 04. 10.

Topic Modeling참고 문헌 9인용 수 45

한 줄 요약

본 논문은 Freebase를 대상으로 한 KBQA에서 단어 수준의 상호 작용을 보존하기 위해 주의 집중 RNN(attentive RNN)과 유사도 행렬 CNN을 결합한 AR-SMCNN를 제안하며, SimpleQuestion에서 정확도와 효율성의 향상을 주장한다.

ABSTRACT

With the rapid growth of knowledge bases (KBs), question answering over knowledge base, a.k.a. KBQA has drawn huge attention in recent years. Most of the existing KBQA methods follow so called encoder-compare framework. They map the question and the KB facts to a common embedding space, in which the similarity between the question vector and the fact vectors can be conveniently computed. This, however, inevitably loses original words interaction information. To preserve more original information, we propose an attentive recurrent neural network with similarity matrix based convolutional neural network (AR-SMCNN) model, which is able to capture comprehensive hierarchical information utilizing the advantages of both RNN and CNN. We use RNN to capture semantic-level correlation by its sequential modeling nature, and use an attention mechanism to keep track of the entities and relations simultaneously. Meanwhile, we use a similarity matrix based CNN with two-directions pooling to extract literal-level words interaction matching utilizing CNNs strength of modeling spatial correlation among data. Moreover, we have developed a new heuristic extension method for entity detection, which significantly decreases the effect of noise. Our method has outperformed the state-of-the-arts on SimpleQuestion benchmark in both accuracy and efficiency.

연구 동기 및 목표

• 대규모 지식 베이스에서의 KBQA를 동기화하고 인코더-비교 방식에서의 단어 상호 작용 손실을 해결한다.
• RNN 기반의 의미 모델링과 유사도 행렬 CNN을 결합하여 원래의 단어 상호 작용을 보존한다.
• KBQA에서 노이즈를 줄이기 위한 엔티티 탐지 확장 개발.
• SimpleQuestion 벤치마크에서 최첨단 성능을 입증한다.
• KBQA 처리의 효율성을 향상시킨다.

제안 방법

• 주의 집중 RNN을 사용하여 의미 수준의 상관관계를 포착하고 주의 집중을 통해 엔티티와 관계를 추적한다.
• 두 방향 풀링이 있는 유사도 행렬 기반 CNN을 적용하여 문자 수준의 단어 상호 작용 매칭을 추출한다.
• KB의 엔티티와 관계를 정렬하기 위해 RNN 내에 주의 메커니즘을 통합한다.
• 노이즈를 줄이기 위한 엔티티 탐지에 대한 휴리스틱 확장 방법을 제안한다.
• 단어 상호 작용의 공간 상관관계를 모델링하기 위해 CNN을 활용한다.

실험 결과

연구 질문

• RQ1 주요 인코더-비교 접근 방식보다 AR-SMCNN이 단어 수준 상호 작용을 더 잘 보존할 수 있는가?
• RQ2 AR-SMCNN 모델이 SimpleQuestion 벤치마크에서 정확도와 효율성을 향상시키는가?
• RQ3 제안된 휴리스틱 엔티티 탐지 확장이 노이즈를 줄이고 QA 성능을 향상시키는가?
• RQ4 주목 메커니즘이 Freebase 기반 질문에서 엔티티와 관계를 얼마나 효과적으로 추적하는가?

주요 결과

• AR-SMCNN 모델은 SimpleQuestion에서 정확도와 효율성 면에서 최첨단 접근법을 능가한다.
• 아키텍처는 의미 수준의 상관관계를 위해 RNN을, 문자 수준의 단어 상호 작용은 유사도 행렬을 통한 CNN으로 활용한다.
• 주목 메커니즘이 지식 베이스에서 엔티티와 관계를 공동으로 추적하는 데 도움이 된다.
• 휴리스틱 엔티티 탐지 확장이 노이즈를 줄이고 강건성을 향상시킨다.