[논문 리뷰] Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph

Amrita Saha, Vardaan Pahuja외 3명|arXiv (Cornell University)|2018. 01. 31.

Topic Modeling인용 수 22

한 줄 요약

이 논문은 대규모 지식 그래프에서의 사실 기반 질의응답과 다중 전환 대화 시스템을 결합한 새로운 과제인 복합 순차적 질의응답(CSQA)을 소개한다. 저자들은 지식 그래프 기반으로 논리적, 정량적, 비교적 추론가능한 복잡한 질문을 수반하는 200만 개의 대화 전환을 포함한 대규모 데이터셋 200만 개를 제시한다. 최신 기술 모델을 사용함에도 불구하고 성능이 여전히 부족한데, 이는 대화적 맥락에 민감한 추론 중심의 질의응답 처리에서 현재 기술의 심각한 격차를 드러낸다.

ABSTRACT

While conversing with chatbots, humans typically tend to ask many questions, a significant portion of which can be answered by referring to large-scale knowledge graphs (KG). While Question Answering (QA) and dialog systems have been studied independently, there is a need to study them closely to evaluate such real-world scenarios faced by bots involving both these tasks. Towards this end, we introduce the task of Complex Sequential QA which combines the two tasks of (i) answering factual questions through complex inferencing over a realistic-sized KG of millions of entities, and (ii) learning to converse through a series of coherently linked QA pairs. Through a labor intensive semi-automatic process, involving in-house and crowdsourced workers, we created a dataset containing around 200K dialogs with a total of 1.6M turns. Further, unlike existing large scale QA datasets which contain simple questions that can be answered from a single tuple, the questions in our dialogs require a larger subgraph of the KG. Specifically, our dataset has questions which require logical, quantitative, and comparative reasoning as well as their combinations. This calls for models which can: (i) parse complex natural language questions, (ii) use conversation context to resolve coreferences and ellipsis in utterances, (iii) ask for clarifications for ambiguous queries, and finally (iv) retrieve relevant subgraphs of the KG to answer such questions. However, our experiments with a combination of state of the art dialog and QA models show that they clearly do not achieve the above objectives and are inadequate for dealing with such complex real world settings. We believe that this new dataset coupled with the limitations of existing models as reported in this paper should encourage further research in Complex Sequential QA.

연구 동기 및 목표

• 대규모 지식 그래프를 기반으로 사용자가 연속적으로 복잡하고 맥락 의존적인 질문을 하는 실제 챗봇 시나리오를 다루기 위해.
• 고립된 질의응답과 대화 시스템 간 격차를 메우기 위해 새로운 과제인 복합 순차적 QA(CSQA)를 도입하기 위해.
• 지식 그래프 기반으로 복잡한 추론을 수반하는 200만 개의 다중 전환 대화, 총 160만 개의 전환을 포함한 대규모 고품질 데이터셋을 구축하기 위해.
• 현재 모델이 복잡하고 맥락 민감한 질의응답을 처리할 때 겪는 핵심 과제, 예를 들어 추론, 공호성 해소, 메모리 효율성 등을 특정하고 분석하기 위해.

제안 방법

• 데이터셋은 내부 및 커뮤니티 기반의 코딩자들이 참여한 반자동화된 노동 집약적인 과정을 통해 구성되었으며, 일관되고 연결된 QA 대화를 생성하기 위해 설계되었다.
• 질문은 대규모 지식 그래프(WikiData, 14-Nov-2016 덤프) 기반으로 논리적, 정량적, 비교적 추론이 필요하도록 설계되었다.
• 최신 대화(HRED) 및 질의응답 아키텍처를 융합한 하이브리드 모델을 제안하였으며, 관련 서브그래프 정보를 저장하고 검색하기 위해 키-값 메모리 네트워크를 활용하였다.
• 후보 튜플을 걸러내기 위해 n-그램 매칭 기반의 후보 생성 단계를 사용하였지만, 이는 어휘의 다의어 및 엔티티 동의어 문제로 인해 최적의 성능을 내지 못함을 입증하였다.
• 공호성 또는 생략 해소가 불확실할 경우 사용자에게 명확화를 요청하는 명확화 메커니즘이 포함되어 있다.
• 메모리 구조는 평탄한 키-값 네트워크로 모델링되었지만, 이는 10만 개 이상의 튜플을 필요로 하는 복잡한 질의 처리에서 성능 저하 요인이 됨을 논문이 지적하고 있다.

실험 결과

연구 질문

• RQ1 기존 최신 기술 모델들이 맥락 의존성 있는 대규모 지식 그래프 기반의 복잡한 다중 전환 질의응답을 효과적으로 처리할 수 있는가?
• RQ2 논리적, 정량적, 비교적 추론이 필요한 질문에 대해 간단한 사실 기반 질문과 비교해 모델의 성능은 어떻게 되는가?
• RQ3 현재 모델은 대화 질의응답에서 공호성, 생략, 다의어 문제를 어느 정도 잘 다루는가?
• RQ4 메모리 증강 네트워크가 복잡한 추론을 위해 대규모 서브그래프를 저장하고 검색할 때의 확장성과 효율성에 어떤 제약이 있는가?
• RQ5 복잡한 질의응답에서 엔티티 및 관계의 어색한 표현을 다루기 위해 후보 생성 방식은 어떻게 향상시킬 수 있는가?

주요 결과

• HRED와 QA 구성 요소를 융합한 제안된 하이브리드 모델은 CSQA 과제에서 상당한 성능 저하를 보이며, 현재 아키텍처에 근본적인 한계가 있음을 시사한다.
• 간접적 또는 불완전한 질문(예: 생략 또는 공호성 포함)에 대해 성능이 급격히 떨어지며, HRED의 맥락 모델링 기능에도 불구하고 맥락에 민감한 추론 능력이 떨어짐을 보여준다.
• 엔티티 및 관계의 어색한 표현 문제(예: 'Leo' vs 'Leonardo')로 인해 간단한 n-그램 매칭 방식의 후보 생성은 낮은 재현율을 초래하며, 이는 모델의 효과성을 감소시킨다.
• 15퍼센트 이상의 질문이 10만 개 이상의 후보 튜플을 필요로 하여 평탄한 키-값 메모리 네트워크를 초과하여 GPU 메모리 및 계산 성능에 장애를 유발한다.
• 모델은 모호한 질문을 명확화하는 데 어려움을 겪으며, 일반적으로 필요한 명확화를 요청하지 못해 잘못된 답변을 도출한다.
• 데이터셋은 현재 모델이 추론 유형 간(논리적, 정량적, 비교적) 일반화하지 못함을 드러내며, 특히 다중 전환 및 다수의 엔티티를 포함한 추론에서 뚜렷한 한계를 보인다.