[논문 리뷰] Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering

Kaixin Ma, Filip Ilievski외 4명|arXiv (Cornell University)|2020. 11. 07.

Topic Modeling참고 문헌 44인용 수 9

한 줄 요약

이 논문은 다양한 지식 그래프(예: ConceptNet, ATOMIC)를 활용하여 사전 훈련된 언어 모델을 위한 합성 공리적 질문을 생성하는 신경-기호 프레임워크를 제안한다. 이를 통해 다섯 가지 벤치마크 작업에 걸쳐 강력한 제로샷 전이를 가능하게 한다. 주요 기여는 다수의 지식 소스를 구조적 질문 생성과 국소적 순서 매기기 훈련과 결합할 경우, 특히 지식이 작업에 특화된 추론 요구사항과 잘 일치할 경우 일관된 성능 향상이 이루어진다는 것을 입증한 것이다.

ABSTRACT

Recent developments in pre-trained neural language modeling have led to leaps in accuracy on commonsense question-answering benchmarks. However, there is increasing concern that models overfit to specific tasks, without learning to utilize external knowledge or perform general semantic reasoning. In contrast, zero-shot evaluations have shown promise as a more robust measure of a model's general reasoning abilities. In this paper, we propose a novel neuro-symbolic framework for zero-shot question answering across commonsense tasks. Guided by a set of hypotheses, the framework studies how to transform various pre-existing knowledge resources into a form that is most effective for pre-training models. We vary the set of language models, training regimes, knowledge sources, and data generation strategies, and measure their impact across tasks. Extending on prior work, we devise and compare four constrained distractor-sampling strategies. We provide empirical results across five commonsense question-answering tasks with data generated from five external knowledge resources. We show that, while an individual knowledge graph is better suited for specific tasks, a global knowledge graph brings consistent gains across different tasks. In addition, both preserving the structure of the task as well as generating fair and informative questions help language models learn more effectively.

연구 동기 및 목표

• 제로샷 공리적 질의응답에서 지식 소스, 데이터 생성 전략, 언어 모델 간의 상호작용에 대한 체계적 연구가 부족한 점을 보완하기 위해.
• 합성된 지식 기반 QA 데이터로 사전 훈련하면 다양한 공리적 추론 작업 간 일반화 능력 향상에 기여하는지 조사하기 위해.
• 제로샷 환경에서 모델 성능과 질문 품질에 영향을 주는 다양한 오답 선택지 샘플링 전략의 영향을 평가하기 위해.
• 개별 그래프를 사용하는 것과 비교해 다수의 지식 그래프를 결합할 경우 제로샷 전이 성능 향상이 이루어지는지 확인하기 위해.
• 사전 훈련 중 작업의 구조를 유지하는 데 있어 국소적 순서 매기기 훈련이 표준 언어 모델링보다 효과적인지 평가하기 위해.

제안 방법

• 사용자 정의 템플릿을 활용해 다섯 가지 외부 지식 자원(ATOMIC, ConceptNet, Wikidata, VisualGenome, CWWV)을 작업에 특화된 질문-답변 쌍으로 변환함으로써 합성 다중 선택형 QA 데이터셋을 구축한다.
• 네 가지 제약 조건이 있는 오답 선택지 샘플링 전략을 구현: 무작위 샘플링, 적대적 필터링, 하이브리드 샘플링(무작위 + 적대적), 의미 유사도 기반 지식 인식 샘플링.
• 합성 데이터셋을 사용해 두 가지 훈련 방식(표준 언어 모델링 및 국소적 순서 매기기)으로 GPT-2-Large 및 RoBERTa-Large 두 언어 모델을 사전 훈련한다.
• 다섯 가지 공리적 QA 벤치마크(SocialIQA, PhysicalIQA, CommonSenseQA, aNLI, HellaSwag)에서 제로샷 성능을 평가한다.
• 인간 평가를 통해 질문의 공정성과 정보성 평가를 실시하여 자동 생성된 질문 세트에서 모호하거나 비논리적인 질문과 같은 문제를 식별한다.
• 적대적 필터링을 적용해 오답 선택지의 타당성을 향상시키고, 생성된 질문의 공정성과 정보성 간 균형을 유지한다.

실험 결과

연구 질문

• RQ1 지식 소스의 선택이 다양한 공리적 추론 작업에서 제로샷 성능에 어떤 영향을 미치는가?
• RQ2 다양한 오답 선택지 샘플링 전략이 합성 데이터 생성에서 모델의 일반화 능력과 질문 품질에 어떤 영향을 미치는가?
• RQ3 다수의 지식 그래프를 결합할 경우 개별 그래프를 사용하는 것보다 더 나은 제로샷 전이 성능을 달성하는가?
• RQ4 국소적 순서 매기기 사전 훈련이 표준 언어 모델링에 비해 작업의 구조를 유지하고 최종 성능을 향상시키는 데 얼마나 효과적인가?
• RQ5 자동 생성된 질문이 어느 정도 공정하고 정보적인가? 인간이 생성한 질문과 비교해 난이도는 어떻게 되는가?

주요 결과

• 합성된 지식 기반 QA 데이터로 언어 모델을 사전 훈련하면 다섯 가지 공리적 추론 작업 전반에서 제로샷 일반화 능력 향상이 측정 가능하게 나타났다.
• 모든 작업에서 RoBERTa-Large가 GPT-2-Large를 초월했으며, 국소적 순서 매기기 제도에서 ATOMIC에서 45.9%의 정확도와 CWWV에서 64.5%의 정확도를 기록했다.
• 다양한 지식 소스를 결합할 경우 성능 향상이 일관되게 이루어졌으며, 특히 지식이 작업 요구사항과 잘 일치할 경우 전역 지식 그래프가 개별 그래프보다 더 넓은 성과 향상을 이끌었다.
• 국소적 순서 매기기 사전 훈련이 표준 언어 모델링보다 뛰어났으며, 이는 작업의 구조적 무결성을 더 잘 유지하고 제로샷 전이 정확도를 향상시켰기 때문이다.
• 인간 평가 결과, 대부분의 생성된 질문은 모델보다 인간에게 더 쉬운 편이었지만(의도한 바), 일부는 여전히 비논리적이거나 모호한 경우가 있어 자동 질문 생성 품질에 도전 과제가 있음을 시사했다.
• 무작위 샘플링과 적대적 샘플링을 조합한 하이브리드 오답 선택지 샘플링 전략이 가장 효과적이었으며, 질문이 단순해지지 않도록 타당성과 정보성 간 균형을 잘 유지했다.