[논문 리뷰] Schema2QA: High-Quality and Low-Cost Q&A Agents for the Structured Web

Silei Xu, Giovanni Campagna외 2명|arXiv (Cornell University)|2020. 01. 16.

Topic Modeling참고 문헌 41인용 수 9

한 줄 요약

Schema2QA는 데이터베이스 스키마와 최소한의 필드 주석만을 사용하여 구조화된 웹 데이터용 고정확도·저비용 질문-답변 에이전트를 구축할 수 있도록 해주는 오픈소스 툴킷입니다. 일반 템플릿에서 수천 개의 복합 질문을 합성하고, 합성 및 다의어화된 데이터에 대해 BERT-LSTM 모델을 미세조정함으로써, 다섯 개인 Schema.org 도메인에서 인과적 질문에 대해 64–75%의 정확도를 달성하며, 복잡한 장기 꼬리 질문에서 상용 보조자보다 뛰어난 성능을 보입니다.

ABSTRACT

Building a question-answering agent currently requires large annotated datasets, which are prohibitively expensive. This paper proposes Schema2QA, an open-source toolkit that can generate a Q&A system from a database schema augmented with a few annotations for each field. The key concept is to cover the space of possible compound queries on the database with a large number of in-domain questions synthesized with the help of a corpus of generic query templates. The synthesized data and a small paraphrase set are used to train a novel neural network based on the BERT pretrained model. We use Schema2QA to generate Q&A systems for five Schema.org domains, restaurants, people, movies, books and music, and obtain an overall accuracy between 64% and 75% on crowdsourced questions for these domains. Once annotations and paraphrases are obtained for a Schema.org schema, no additional manual effort is needed to create a Q&A agent for any website that uses the same schema. Furthermore, we demonstrate that learning can be transferred from the restaurant to the hotel domain, obtaining a 64% accuracy on crowdsourced questions with no manual effort. Schema2QA achieves an accuracy of 60% on popular restaurant questions that can be answered using Schema.org. Its performance is comparable to Google Assistant, 7% lower than Siri, and 15% higher than Alexa. It outperforms all these assistants by at least 18% on more complex, long-tail questions.

연구 동기 및 목표

• 질문-답변 에이전트를 위한 고비용의 수동 레이블링을 줄이기 위해 수동 레이블링을 최소화합니다.
• 실제 사용자 데이터 없이도 표준 스키마를 사용하여 어떤 웹사이트에 대해서도 정확한 Q&A 에이전트를 개발할 수 있도록 합니다.
• 신경망 모델이 합성 데이터와 전이 학습을 통해 도메인 간 일반화가 가능하다는 것을 입증합니다.
• 음성 기반, 스키마 기반 가상 보조자를 구축하기 위한 개방적이고 확장 가능한 파이프라인을 만듭니다.
• 특허 자료 없이도 상용 보조자 수준의 성능을 복잡한 장기 꼬리 질문에서 달성합니다.

제안 방법

• 시스템은 데이터베이스 스키마에서 복합 질문의 대량 코퍼스를 합성하기 위해 일반적인 자연어 템플릿 세트를 사용합니다.
• 각 데이터베이스 필드는 유형과 몇 가지 대표적인 어휘를 주석으로 추가하여 질문 생성을 안내합니다.
• 합성 질문과 소량의 인간이 작성한 다의어화된 질문의 조합에 대해 BERT-LSTM 신경망 모델을 미세조정합니다.
• 모델은 자연어 질문을 실행 가능한 ThingTalk 쿼리로 매핑하여 복잡한 다중 조건 추론을 가능하게 합니다.
• NL-schema Builder 도구는 Schema.org 스키마를 Schema2QA 형식으로 매핑하여 원활한 통합을 지원합니다.
• 추가 수동 주석 없이도 레스토랑 도메인에서 호텔 도메인으로 전이 학습을 적용합니다.

실험 결과

연구 질문

• RQ1 신경망 모델이 합성 데이터와 최소한의 스키마 주석만으로 높은 정확도의 질문-답변를 달성할 수 있는가?
• RQ2 일반적인 질문 템플릿이 실제 Q&A에 필요한 복합 질의의 영역을 효과적으로 커버할 수 있는가?
• RQ3 전이 학습이 새로운 도메인에서 수동 데이터 수집의 필요성을 얼마나 줄일 수 있는가?
• RQ4 복잡한 장기 꼬리 질문에서 성능이 상용 가상 보조자와 비교해 어떻게 되는가?
• RQ5 일반적 요소와 도메인 전용 요소를 분리함으로써 레이블링 부담을 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• Schema2QA는 다섯 개인 Schema.org 도메인(레스토랑, 사람, 영화, 책, 음악)에서 인과적 질문에 대해 64–75%의 정확도를 달성합니다.
• 복잡한 장기 꼬리 질문에서 Schema2QA는 알렉사보다 18%, 구글 애시스턴트보다 18%, 시리보다 18% 높은 성능을 보입니다.
• 일반적인 레스토랑 질문에서는 Schema2QA가 구글 애시스턴트의 정확도를 따라가며, 시리의 성능과 7% 이내로 수렴합니다.
• 질문이 알려진 속성에 국한된 레스토랑 도메인에서는 질의 정확도가 69.7%에 도달하지만, 개방형 질문에서는 59.8%로 떨어집니다.
• 오류 분석 결과, 더 나은 명명된 실체 인식과 추가적인 일반 템플릿이 정확도를 70%에서 약 90%까지 향상시킬 수 있음을 보여줍니다.
• 레스토랑 도메인에서 호텔 도메인으로 전이 학습을 적용했을 때, 수동 데이터 수집 없이도 64%의 정확도를 달성했습니다.