[논문 리뷰] Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text.

Kaixin Ma, Hao Cheng외 3명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling참고 문헌 43인용 수 4

한 줄 요약

이 논문은 구조화된 지식 소스로 구두화된 위키백과 표와 위키데이터 삼항관계를 통합하여 개방형 도메인 질의응답을 위한 통합 프레임워크인 UDT-QA를 제안한다. 데이터에서 텍스트로의 생성을 활용하여 검색과 추론를 향상시킴으로써 UDT-QA는 자연 질문(Natural Questions)에서 최신 기술 수준의 성능을 달성하며, 특히 구조화된 지식에 대한 추론에서 텍스트 중심 기준보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Due to its potential for a universal interface over both data and text, data-to-text generation is becoming increasingly popular recently. However, few previous work has focused on its application to downstream tasks, e.g. using the converted data for grounding or reasoning. In this work, we aim to bridge this gap and use the data-to-text method as a means for encoding structured knowledge for knowledge-intensive applications, i.e. open-domain question answering (QA). Specifically, we propose a verbalizer-retriever-reader framework for open-domain QA over data and text where verbalized tables from Wikipedia and triples from Wikidata are used as augmented knowledge sources. We show that our Unified Data and Text QA, UDT-QA, can effectively benefit from the expanded knowledge index, leading to large gains over text-only baselines. Notably, our approach sets the single-model state-of-the-art on Natural Questions. Furthermore, our analyses indicate that verbalized knowledge is preferred for answer reasoning for both adapted and hot-swap settings.

연구 동기 및 목표

• 개방형 도메인 질의응답과 같은 지식 집약적 작업에서 데이터에서 텍스트로의 생성을 활용하는 데에 미치는 격차를 해소하기 위해.
• 위키백과 표와 위키데이터 삼항관계로부터의 구조화된 지식을 통합된 QA 프레임워크에 통합하여 추론과 기반 설정을 향상시키기 위해.
• 데이터와 텍스트를 통합된 지식 소스로 간주하여 QA 성능을 향상시키는 언어자형-검색기-읽기 아키텍처를 개발하기 위해.
• 적응형 및 핫스위프 설정에서 모두 구두화된 지식의 효과성을 평가하여 추론과 검색에 미치는 영향을 분석하기 위해.
• 통합된 데이터와 텍스트 지식을 사용하여 자연 질문 벤치마크에서 단일 모델 기반 최신 기술 수준을 달성하기 위해.

제안 방법

• 구조화된 지식을 위키백과 표와 위키데이터 삼항관계에서 자연어 텍스트로 변환하는 언어자형 모듈을 사용하여 색인화한다.
• 텍스트와 구두화된 데이터를 통합한 색인에서 관련된 구두화된 지식 문장을 검색하는 검색기 컴ponent를 활용한다.
• 검색된 문장 기반으로 답변을 생성하는 독자 모델을 적용하여 텍스트와 구조화된 데이터 양쪽 모두에서 종단간 추론을 가능하게 한다.
• 원시 텍스트와 표 및 삼항관계의 데이터에서 텍스트로 생성된 기술적 설명을 통합한 통합 지식 색인을 구축한다.
• 적응형 및 핫스위프 설정을 모두 지원하는 프레임워크를 설계하여 추론 중에 유연하게 구두화된 지식을 통합할 수 있도록 한다.
• 검색 증강 생성 기법을 활용하여 텍스트 및 구조화된 지식 소스에 기반한 답변 생성을 향상시킨다.

실험 결과

연구 질문

• RQ1 구두화된 지식을 텍스트 지식과 통합할 경우, 개방형 도메인 질의응답에서 데이터에서 텍스트로의 생성 지식이 성능 향상에 기여하는가?
• RQ2 텍스트 중심 기준 대비, 구두화된 표와 위키데이터 삼항관계의 포함 여부가 검색 및 답변 생성 성능에 어떤 영향을 미치는가?
• RQ3 적응형 및 핫스위프 설정을 포함한 다양한 QA 설정에서, 구두화된 지식이 일관된 이점을 제공하는가?
• RQ4 개방형 도메인 QA에서 구조화된 사실에 대한 복잡한 추론을 수행할 때, 통합된 데이터와 텍스트 지식 색인은 얼마나 효과적으로 추론을 향상시키는가?
• RQ5 이러한 통합 지식 인코딩을 사용하여 단일 모델 접근 방식이 자연 질문과 같은 벤치마크 QA 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• UDT-QA는 구두화된 위키백과 표와 위키데이터 삼항관계를 통합하여 자연 질문 벤치마크에서 새로운 단일 모델 기반 최신 기술 수준을 달성한다.
• 텍스트 중심 기준 대비 뚜렷한 성능 향상을 보이며, 확장된 지식 색인화가 QA 정확도 향상에 크게 기여함을 시사한다.
• 적응형 및 핫스위프 설정 모두에서 구두화된 지식이 답변 추론에 지속적으로 유리하게 작용함을 확인하여, 다양한 구성 설정 간의 강건성과 일반화 능력을 입증한다.
• 데이터와 텍스트의 통합 색인은 특히 구조화된 사실에 대한 복잡한 추론에서 더 효과적인 검색과 기반 설정을 가능하게 한다.
• 언어자형-검색기-읽기 아키텍처는 양 모odal을 효과적으로 활용하며, 데이터에서 텍스트로의 생성이 지식 인코딩 전략으로서 사용될 경우 후속 QA 성능 향상에 기여함을 보여준다.
• 결과는 구조화된 지식이 적절히 구두화되고 색인화되면, 개방형 도메인 QA에서 답변 생성과 추론에 의미 있는 기여를 한다는 점을 확인한다.