[논문 리뷰] AutoQA: From Databases To QA Semantic Parsers With Only Synthetic Training Data

Silei Xu, Sina J. Semnani외 2명|arXiv (Cornell University)|2020. 10. 09.

Natural Language Processing Techniques참고 문헌 42인용 수 4

한 줄 요약

AutoQA는 수동 주석 또는 인간의 다듬림 없이도 합성 훈련 데이터만을 사용하여 데이터베이스에 대한 질문-답변를 위한 의미 분석기를 완전 자동으로 생성하는 풀 자동화 툴킷이다. 자동 다듬힘과 필터링된 자동 다듬는 기계를 활용해 다양하고 고품질의 훈련 예제를 생성하며, Schema2QA에서 62.9%의 논리형식 정확도와 Overnight에서 69.8%의 정답 정확도를 달성하여 각각 전문가가 주석을 달고 인간이 다듬은 데이터로 훈련된 모델과 6.4%와 5.2% 이내의 성능을 기록한다.

ABSTRACT

We propose AutoQA, a methodology and toolkit to generate semantic parsers that answer questions on databases, with no manual effort. Given a database schema and its data, AutoQA automatically generates a large set of high-quality questions for training that covers different database operations. It uses automatic paraphrasing combined with template-based parsing to find alternative expressions of an attribute in different parts of speech. It also uses a novel filtered auto-paraphraser to generate correct paraphrases of entire sentences. We apply AutoQA to the Schema2QA dataset and obtain an average logical form accuracy of 62.9% when tested on natural questions, which is only 6.4% lower than a model trained with expert natural language annotations and paraphrase data collected from crowdworkers. To demonstrate the generality of AutoQA, we also apply it to the Overnight dataset. AutoQA achieves 69.8% answer accuracy, 16.4% higher than the state-of-the-art zero-shot models and only 5.2% lower than the same model trained with human data.

연구 동기 및 목표

• 데이터베이스에 대한 질문-답변를 위한 의미 분석기 훈련에서 수동 데이터 주석의 높은 비용을 제거하기 위해.
• 전문가가 주석을 달고 인간이 다듬은 논리형식이나 커뮤니티워커가 생성한 다듬힌 문장을 요구하지 않는 완전 자동화된 파ip라인을 개발하기 위해.
• 자동 다듬힘으로 보완된 합성 데이터가 인간이 주석을 달고 다듬은 데이터로 훈련된 모델의 성능을 따라할 수 있는지 평가하기 위해.
• 지식 기반 및 웹 스키마 데이터셋을 포함한 다양한 데이터베이스와 논리형식에 대해 일반화 능력을 입증하기 위해.

제안 방법

• AutoQA는 사전 훈련된 다듬힘 모델을 사용해 데이터베이스 속성에 다양한 품사의 다른 표현 방식을 자동으로 주석한다.
• 템플릿 기반의 데이터 합성 기법을 적용하여 주석된 속성에서 복잡한 질문의 다수를 생성한다.
• BART 기반의 새로운 필터링된 자동 다듬는 기계가 자연어 다듬힌 문장을 생성하며, 다듬힌 문장이 원본과 동일한 논리형식으로 매핑됨을 검증함으로써 의미의 정확성을 보장하는 필터를 적용한다.
• 필터링된 다듬힌 문장을 반복적으로 사용해 자기 훈련(self-training) 방식으로 의미 분석기를 재학습함으로써 언어적 다양성에 대한 강건성을 향상시킨다.
• 최종 분석기는 합성 데이터, 자동 주석, 자동 다듬힌 데이터만을 사용해 훈련된 BERT-LSTM 모델이다.
• 이 파이프라인은 Schema2QA와 Overnight 벤치마크에서 평가되며, 논리형식 정확도와 정답 정확도를 지표로 사용한다.

실험 결과

연구 질문

• RQ1 인간이 주석을 달지 않은 예시가 전혀 없는 합성 훈련 데이터만으로도 높은 정확도를 달성할 수 있는 의미 분석기를 훈련시킬 수 있는가?
• RQ2 특히 의미 정확성을 위해 필터링된 자동 다듬힘은 미리 보지 않은 자연어 질문에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ3 다듬힘 모델을 사용해 데이터베이스 속성에 자동 주석을 달면 수동으로 속성 동의어를 정리하는 것과 얼마나 대체할 수 있는가?
• RQ4 인간이 주석을 달고 다듬은 다듬힌 문장을 사용해 훈련된 최신 기술 모델과 비교했을 때, 완전히 합성된 훈련 파이프라인의 성능은 어떠한가?

주요 결과

• Schema2QA 데이터셋에서 AutoQA는 자연어 질문에 대해 62.9%의 논리형식 정확도를 달성했으며, 전문가 주석과 인간 다듬힘을 사용한 모델과 비교해 6.4% 낮게 기록했다.
• Overnight 벤치마크에서 AutoQA는 69.8%의 정답 정확도와 55.6%의 논리형식 정확도를 기록했으며, 최신 기술의 제로샷 모델보다 각각 16.4점과 18.6점 높은 성능을 보였다.
• 자동 주석과 필터링된 자동 다듬힘을 모두 포함한 AutoQA 전체 파이프라인은 각각 자동 다듬힘 전용 또는 자동 주석 전용 모델보다 뛰어나며, 자동 다듬힘 전용 모델 대비 6.4% 향상되었고, 자동 주석 전용 모델 대비 8.3% 향상되었다.
• 필터링되지 않은 자동 다듬는 기계를 사용할 경우 정확도가 18% 감소했으며, 이는 합성 데이터 생성 과정에서 의미 필터링의 필수성을 입증한다.
• Overnight 데이터셋에서 AutoQA의 성능은 도메인 내 인간 다듬힌 문장을 사용해 훈련된 모델과 5.2% 이내로, 강력한 제로샷 일반화 능력을 보였다.
• 이 방법은 다양한 데이터베이스 스키마와 논리형식에 걸쳐 일반화되며, 웹 규모의 스키마 데이터와 지식 기반 데이터셋 모두에서 효과를 보였다.