[논문 리뷰] Variational Reasoning for Question Answering with Knowledge Graph

Yuyu Zhang, Hanjun Dai외 3명|arXiv (Cornell University)|2017. 09. 12.

Topic Modeling인용 수 181

한 줄 요약

논문은 노이즈가 있는 텍스트와 오디오 입력에서도 견고한 QA를 가능하게 하는 지식 그래프 위에서 토픽-엔티티 인식과 다중 홉 추론을 공동으로 학습하는 end-to-end 변분 프레임워크인 VRN을 제시합니다.

ABSTRACT

Knowledge graph (KG) is known to be helpful for the task of question answering (QA), since it provides well-structured relational information between entities, and allows one to further infer indirect facts. However, it is challenging to build QA systems which can learn to reason over knowledge graphs based on question-answer pairs alone. First, when people ask questions, their expressions are noisy (for example, typos in texts, or variations in pronunciations), which is non-trivial for the QA system to match those mentioned entities to the knowledge graph. Second, many questions require multi-hop logic reasoning over the knowledge graph to retrieve the answers. To address these challenges, we propose a novel and unified deep learning architecture, and an end-to-end variational learning algorithm which can handle noise in questions, and learn multi-hop reasoning simultaneously. Our method achieves state-of-the-art performance on a recent benchmark dataset in the literature. We also derive a series of new benchmark datasets, including questions for multi-hop reasoning, questions paraphrased by neural translation model, and questions in human voice. Our method yields very promising results on all these challenging datasets.

연구 동기 및 목표

• 노이즈가 있는 질문 입력과 불확실한 토픽 엔티티 위치 식별 문제를 다룬다.
• 대규모 지식 그래프에 대한 다중 홉 논리 추론을 엔드 투 엔드로 학습 가능한 모델에서 가능하게 한다.
• 강한 주석 없이 질문-답변 쌍으로 토픽 엔티티 인식과 추론 임베딩을 함께 학습한다.
• 지식 그래프 위의 QA를 위해 텍스트와 음성 입력을 처리할 수 있는 확장 가능한 아키텍처를 제공한다.

제안 방법

• VRN을 도입한다. 두 모듈 확률 프레임워크: 질의 q에서 토픽 엔티티 인식용 P(y|q)와 y, q에서의 KG 기반 추론으로 정답을 찾는 P(a|y,q).
• 토픽 엔티티를 KG 엔티티들에 대한 소프트맥스(softmax)로 표현하고, 신경질문 인코더 f_ent(q) (텍스트 또는 오디오)와 함께 P_theta1(y|q) = softmax(W_y^T f_ent(q))로 나타낸다.
• KG 위의 추론을 추론 하위그래프의 임베딩으로 모델링하고, P_theta2(a|y,q)의 적합도는 질의 유형 임베딩 f_qt(q)의 softmax를 y에서 a로 가는 그래프 임베딩 g(G_{y→a})에 대해 계산해 얻는다.
• 토픽 엔티티 y로부터 T 홉 이내의 추론 그래프 G_{y}를 정의하고, G_{y→a}는 y에서 a로 가는 모든 경로를 포함하는 최소 부분그래프이며, 이를 Equation 6과 같이 순방향 그래프 아키텍처로 재귀적으로 임베딩한다.
• 잠재 변수 y를 변분 추론으로 처리하여 엔드 투 엔드로 학습시키고, Q_ψ(y|q,a)를 사용한 변분 하한과 분산 감소 기법 REINFORCE를 이용한 목표를 사용한다(Equations 7–10).
• 추론은 P_theta1(y|q)에서 상위 k개의 y에 대한 빔 탐색을 사용해 max_a P_theta2(a|y,q)를 계산한다(근사식 (11)).

실험 결과

연구 질문

• RQ1 질문-답변 쌍으로 강한 주석 없이 KG에서 토픽 엔티티 인식과 다중 홉 추론을 엔드투엔드 모델로 함께 학습할 수 있는가?
• RQ2 앞으로의 KG 임베딩을 이용한 순방향 그래프 접근법이 대규모 지식 그래프에서 확장 가능하고 효과적인 다중 홉 추론을 가능하게 하는가?
• RQ3 노이즈가 있는 텍스트나 오디오 입력 하에서 REINFORCE를 이용한 엔드투엔드 변분 학습이 엔티티 인식과 추론을 얼마나 개선하는가?
• RQ4 단일 홉 vs 다중 홉 질문, 텍스트 vs 오디오 QA 태스크에서 제안된 VRN의 성능 차이는 어떠한가?
• RQ5 메타QA 벤치마크가 현실적 노이즈와 의역 조건에서 KG 기반 QA 평가에 효과적인가?

주요 결과

• VRN은 바닐라(1-hop), 2-hop, 3-hop 데이터셋에서 최첨단 성능을 달성한다.
• 바닐라-EU 설정(엔티티 라벨링되지 않음)에서 모든 방법의 성능은 하락하지만 VRN이 여전히 가장 강력하여 공동 학습의 이점을 보여준다.
• VRN은 2-hop 및 3-hop 질문에서 베이스라인을 크게 능가하여 강력한 다중 홉 추론 능력을 시사한다.
• NTM-EU 및 Audio-EU 데이터셋에서 VRN이 베이스라인을 능가하며, 오디오 QA는 난이도가 더 높음에도 가능성을 보인다.
• REINFORCE와 분산 감소를 포함한 변분 학습은 특히 제한된 라벨의 토픽 엔티티에서 엔티티 인식 및 전체 QA 성능을 향상시킨다.
• 공유 계산을 갖춘 순방향 그래프 임베딩 아키텍처는 많은 가능한 추론 경로(G_{y→a})를 효율적으로 평가할 수 있게 해준다.