[논문 리뷰] Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge

Peter E. Clark, Isaac Cowhey외 5명|arXiv (Cornell University)|2018. 03. 14.

Topic Modeling참고 문헌 23인용 수 488

한 줄 요약

ARC를 소개합니다. 크고 인간이 저술한 초등학교 수준의 과학 QA 데이터셋은 도전적인 Challenge Set과 더 쉬운 Easy Set으로 분할되고, 14M문장의 ARC Corpus와 여러 신경 기반 바운드라인들이 제공됩니다; 결과는 현재 모델이 Challenge Set에서 어려움을 겪고 있음을 보여주고 더 깊은 추론의 필요성을 강조합니다.

ABSTRACT

We present a new question set, text corpus, and baselines assembled to encourage AI research in advanced question answering. Together, these constitute the AI2 Reasoning Challenge (ARC), which requires far more powerful knowledge and reasoning than previous challenges such as SQuAD or SNLI. The ARC question set is partitioned into a Challenge Set and an Easy Set, where the Challenge Set contains only questions answered incorrectly by both a retrieval-based algorithm and a word co-occurence algorithm. The dataset contains only natural, grade-school science questions (authored for human tests), and is the largest public-domain set of this kind (7,787 questions). We test several baselines on the Challenge Set, including leading neural models from the SQuAD and SNLI tasks, and find that none are able to significantly outperform a random baseline, reflecting the difficult nature of this task. We are also releasing the ARC Corpus, a corpus of 14M science sentences relevant to the task, and implementations of the three neural baseline models tested. Can your model perform better? We pose ARC as a challenge to the community.

연구 동기 및 목표

• 추론이 표면적 단서를 넘어서는 질문의 중요성을 강조하여 고급 질의 응답(AI) 연구를 자극합니다.
• 간단한 IR 및 동시발생 기반 베이스라인을 이겨내도록 명확하게 정의된 Challenge Set을 갖춘 크고 공개된 데이터셋(ARC)을 제공합니다.
• 연구 커뮤니티를 위한 시작점을 마련하기 위해 ARC Corpus라는 지원 과학 코퍼스와 베이스라인 신경망 모델을 공개합니다.

제안 방법

• 검색 기반 및 동시발생 기반 베이스라인을 사용하여 난이도를 정의하고 ARC를 Challenge Set(어려움)와 Easy Set(더 쉬움)으로 분할합니다.
• 14M 개의 과학 문장으로 구성된 ARC Corpus를 제공하여 지식 기반 추론을 지원합니다.
• 검색 증강 입력을 갖춘 다지선다형 QA에 대해 세 가지 신경 QA 모델(DecompAttn, BiDAF, DGEM)을 적응시킵니다.
• Challenge 및 Easy 세트 모두에서 IR, PMI 및 신경 모델을 포함한 베이스라인을 비교하여 난이도와 지식 요구를 평가합니다.
• 커뮤니티 참여를 가능하게 하기 위해 코드와 리더보드를 공개합니다.

실험 결과

연구 질문

• RQ1 표준 IR/PMI 베이스라인 및 선도적인 신경 QA 모델이 ARC Challenge Set에서 무작위 추측보다 유의하게 우수하게 성능을 발휘할 수 있는가?
• RQ2 ARC Corpus가 Challenge 문제에 대해 검색 기반 베이스라인을 얼마나 도울 수 있는가?
• RQ3 SNLI/SQuAD에서 성능이 좋은 신경 모델이 ARC Challenge Set에서 무작위보다 유의하게 개선되는가?
• RQ4 ARC Challenge 문제에 대해 어떤 지식 및 추론 유형이 가장 중요한가?
• RQ5 ARC Challenge Set과 Easy Set 간의 성능 패턴 차이는 무엇인가?

주요 결과

Solver	Challenge Set	Easy Set
IR (dataset defn)	1.02	74.48
PMI (dataset defn)	2.03	77.82
IR (using ARC Corpus)	20.26	62.55
TupleInference	23.83	60.81
DecompAttn	24.34	58.27
Guess-all ("random")	25.02	25.02
DGEM-OpenIE	26.41	57.45
BiDAF	26.54	50.11
TableILP	26.97	36.15
DGEM	27.11	58.97

• 어떤 베이스라인 모델도 ARC Challenge Set에서 우연에 비해 유의하게 성능이 우수하지 않다(타이트한 신뢰 구간 내에서).
• Easy Set에서 베이스라인은 일반적으로 55–65% 정확도를 달성하는 반면 Challenge Set의 성능은 여전히 무작위에 근접하여 난이도를 강조한다.
• IR 및 PMI 베이스라인은 Challenge Set에서 성능이 저조하지만 ARC Corpus를 이용하면 일부 질문에서 개선될 수 있어 지식은 존재하지만 단순한 검색으로 쉽게 활용되지는 않는다는 것을 시사한다.
• 신경 기반 얼라인(DecompAttn, BiDAF, DGEM)은 Easy Set에서 개선되지만 Challenge Set에서 무작위보다 우수하지 못하여 더 진보된 검색 및 다단계 추론 전략의 필요성을 시사한다.
• ARC Corpus에는 Challenge 질문의 약 95%에 해당하는 지식이 포함되나, 이 코퍼스에서의 단순 검색만으로는 가장 어려운 질문에 충분한 성능을 보장하지 않는다.
• 다중 사실을 결합하고 다팩트 추론(연쇄)을 수행할 수 있는 검색 전략의 공백이 두드러진다.