[논문 리뷰] An Interpretable Reasoning Network for Multi-Relation Question Answering

Mantong Zhou, Minlie Huang외 1명|arXiv (Cornell University)|2018. 01. 15.

Topic Modeling참고 문헌 34인용 수 82

한 줄 요약

이 논문은 hop-by-hop 추론으로 다중-관계 KB 질문에 답하는 Interpretable Reasoning Network (IRN)을 제안하며, 중간 관계와 엔티티를 분석 및 수동 개입을 위한 관찰 가능하게 만들고 두 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Multi-relation Question Answering is a challenging task, due to the requirement of elaborated analysis on questions and reasoning over multiple fact triples in knowledge base. In this paper, we present a novel model called Interpretable Reasoning Network that employs an interpretable, hop-by-hop reasoning process for question answering. The model dynamically decides which part of an input question should be analyzed at each hop; predicts a relation that corresponds to the current parsed results; utilizes the predicted relation to update the question representation and the state of the reasoning process; and then drives the next-hop reasoning. Experiments show that our model yields state-of-the-art results on two datasets. More interestingly, the model can offer traceable and observable intermediate predictions for reasoning analysis and failure diagnosis, thereby allowing manual manipulation in predicting the final answer.

연구 동기 및 목표

• 지식 베이스(KBQA)에서 다중-관계 질문에 답하는 데에 대한 동기 부여 및 접근
• 매 단계에서 관계를 선택하는 해석 가능한 hop-by-hop 추론 프로세스 도입
• 추적 가능한 중간 예측을 통해 추론 분석 및 실패 진단을 촉진
• 벤치마크 데이터셋에서 최첨단 성능을 보여주고 견고성과 해석 가능성 демонstraion

제안 방법

• 입력, 추론, 및 정답 모듈을 갖춘 Interpretable Reasoning Network(IRN) 제안
• 각 홉에서 추론 모듈이 관계를 예측하고 질문과 상태를 업데이트하며 Terminal 관계를 통해 중단 시점을 결정
• 입력 모듈은 질문을 인코딩하고 예측된 관계를 빼서 q^h를 업데이트(q^h = q^{h-1} - M_rq r_hat^h)
• 추론 모듈은 softmax를 사용해 q^{h-1} 및 s^{h-1}로부터 g_j^h를 계산하고, 그 합성으로 관계 임베딩의 가중합인 r_hat^h를 형성
• 상태 s^h는 누적 추론을 인코딩하기 위해 s^{h-1} + M_rs r_hat^h로 업데이트
• 정답 모듈은 상태로부터 e^h = M_se s^h 및 엔티티 임베딩의 softmax에서 나오는 o_i^h로부터 엔티티 a^h를 예측
• 관계 예측과 엔티티 예측을 결합한 다중 작업 손실(조정 매개변수 lambda 포함)
• TransE에서 영감을 받은 제약을 통한 다중 작업 KB 표현 학습 도입: M_se (e_s + r) ≈ e_o로, 불완전한 경로에 대한 강건성 강화
• 동시 추론 IRN을 병렬로 실행하고 그 결과를 교차하여 합치는 방식으로 결합 질의 처리

실험 결과

연구 질문

• RQ1 해석 가능하고 hop-by-hop 추론 네트워크가 다중-관계 KB 질문에 효과적으로 답할 수 있는가?
• RQ2 중간 관계와 엔티티를 노출하는 것이 추적성, 실패 진단, 그리고 잠재적 수동 가이드에 도움이 되는가?
• RQ3 KB 임베딩과 QA 데이터의 공동 감독이 다중 홉 질문의 성능을 향상시키는가?
• RQ4 불완전한 KB 및 보지 못한 관계에 대해 이 접근법이 강건한가?

주요 결과

• IRN은 다중 홉 및 결합 질문에 대해 두 개의 KBQA 데이터셋(PathQuestion 및 WorldCup2014)에서 최첨단 결과를 달성합니다.
• IRN은 각 홉에서 해석 가능한 중간 예측(관계 및 엔티티)을 제공하여 추론 분석 및 실패 진단을 가능하게 합니다.
• 다중 작업 목표를 통한 보조 KB 임베딩 학습은 불완전한 지식 기반에 대한 강건성을 향상시키고 누락된 링크 예측에 도움을 줍니다.
• 기초 모델과 비교했을 때 IRN은 단일 홉, 다중 홉, 결합 질문에서 강력한 성능을 보이며 메모리 기반 모델보다 해석 가능성이 큽니다.
• 프레임워크는 중간 예측에 대한 수동 조작을 지원하여 최종 정답을 개선하며, 실제로 정답의 ground-truth 중간 단계가 주어졌을 때 정확도가 더 높아짐이 입증되었습니다