[논문 리뷰] Unified Open-Domain Question Answering with Structured and Unstructured Knowledge.

Barlas Oğuz, Xilun Chen외 7명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling인용 수 26

한 줄 요약

이 논문은 구조화된, 비구조화된, 반구조화된 지식 소스(예: 표, 지식 기반, 텍스트)를 동일한 텍스트 형식으로 변환하여 원래 텍스트 전용으로 설계된 강력한 리트리버-리더 모델을 사용할 수 있도록 하는 통합된 오픈도메인 질의응답 프레임워크를 제안한다. 모든 지식 유형을 텍스트화를 통해 통합함으로써, 세 가지 주요 ODQA 벤치마크에서 최신 기술 성능을 달성하며, 원래 단일 소스 평가를 위한 설계된 소스를 조합해도 일관된 성능 향상이 이루어짐을 보여준다.

ABSTRACT

We study open-domain question answering (ODQA) with structured, unstructured and semi-structured knowledge sources, including text, tables, lists, and knowledge bases. Our approach homogenizes all sources by reducing them to text, and applies recent, powerful retriever-reader models which have so far been limited to text sources only. We show that knowledge-base QA can be greatly improved when reformulated in this way. Contrary to previous work, we find that combining sources always helps, even for datasets which target a single source by construction. As a result, our unified model produces state-of-the-art results on 3 popular ODQA benchmarks.

연구 동기 및 목표

• 텍스트, 표, 지식 기반, 목록과 같은 다양한 지식 소스를 하나의 오픈도메인 질의응답 프레임워크 안에서 통합하는 데 도전한다.
• 기존의 리트리버-리더 모델이 일반적으로 비구조화된 텍스트에 국한되어 있다는 한계를 극복하기 위해, 이들 모델을 이질적인 지식 소스를 처리할 수 있도록 적응시킨다.
• 단일 소스 평가를 위한 설계된 데이터셋에서도 여러 지식 소스를 조합했을 때 일관되게 질의응답 성능이 향상되는지 조사한다.
• 지식 표현을 통합하고 고급 신경 읽기 모델을 활용하여 기존 오픈도메인 질의응답 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 모든 지식 소스—구조화된(예: 표, 지식 기반), 비구조화된(예: 텍스트), 반구조화된(예: 목록)—이 일관된 텍스트화 과정을 통해 동일한 텍스트 형식으로 변환된다.
• 통합된 텍스트 표현을 통해 최신 기술 리트리버-리더 모델을 적용할 수 있으며, 이는 모든 지식 유형에 대해 동일하게 훈련되고 적용된다.
• 밀도 벡터 표현을 사용하여 통합된 텍스트 코퍼스에서 검색을 수행함으로써 원본 소스 형식과 관계없이 관련 파assage를 효과적으로 검색할 수 있다.
• 리더 모델은 통합 지식 기반에서 파생된 질의-응답 쌍을 통해 미세조정되어, 검색된 파assage에서 직접 응답을 생성한다.
• 소스 유형별로 아키텍처를 수정하지 않고도 표준 신경 QA 아키텍처를 사용해 엔드 투 엔드 훈련 및 추론을 지원한다.
• 소스 조합은 모든 텍스트화된 지식 소스를 하나의 검색 코퍼스에 연결하여 수행되며, 이로써 이질적인 데이터 간의 공동 검색 및 독해가 가능해진다.

실험 결과

연구 질문

• RQ1 표준 리트리버-리더 모델을 사용하여 구조화된 및 반구조화된 지식 소스를 비구조화된 텍스트와 효과적으로 통합할 수 있는가?
• RQ2 벤치마크가 단일 소스를 위한 것으로 구성되어 있더라도, 여러 지식 소스를 조합하면 일관되게 질의응답 성능이 향상되는가?
• RQ3 구조화된 지식을 텍스트로 재구성하고 텍스트 전용 신경 모델을 적용함으로써 지식 기반 QA 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 특정 소스에 특화된 설계 제약이 있는 벤치마크를 포함하여 다양한 ODQA 벤치마크에서 소스 조합의 성능 향상이 얼마나 견고한가?

주요 결과

• 통합된 텍스트화 접근법은 MS-MARCO, Natural Questions, TriviaQA를 포함한 세 가지 주요 오픈도메인 질의응답 벤치마크에서 최신 기술 성능을 달성한다.
• 구조화된, 비구조화된, 반구조화된 소스를 조합함으로써 성능 향상이 일관되게 이루어지며, 원래 단일 소스 모델 평가를 위한 설계된 데이터셋에서도 마찬가지다.
• 구조화된 지식을 텍스트로 재구성하고 신경 리트리버-리더 모델을 적용함으로써 지식 기반 QA 성능이 크게 향상된다.
• 이전의 다양한 지식 유형을 별도로 다루는 방법보다 성능이 뛰어나, 통합 표현의 장점을 입증한다.
• 소스 조합의 성과 향상은 특정 데이터 유형에 국한되지 않으며, 텍스트, 표, 지식 기반 전반에서 개선이 관찰된다.
• 소스 유형별로 아키텍처를 수정하지 않고도 강력한 성능을 달성함으로써, 텍스트화가 통합 전략으로서 효과적임을 보여준다.