[논문 리뷰] WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference

Peter Jansen, Elizabeth Wainwright외 2명|arXiv (Cornell University)|2018. 02. 08.

Topic Modeling인용 수 32

한 줄 요약

이 논문은 1,680개의 초등 과학 질문에 대한 설명 그래프로 구성된 대규모 코퍼스인 WorldTree를 소개한다. 이는 문장 간 어휘적 겹침을 통해 다단계 추론를 상세히 표현한다. 또한 설명 중심의 4,950행 테이블 스토어를 제공하여 설명 가능한 추론 모델의 훈련을 가능하게 한다. 주요 기여는 다단계 추론을 지원하고 지식 겹침 및 테이블 스토어 성장률을 바탕으로 미래 모델의 코퍼스 크기 요구량을 추정할 수 있는 확장 가능하고 오픈소스 자원을 제공한다는 점이다.

ABSTRACT

Developing methods of automated inference that are able to provide users with compelling human-readable justifications for why the answer to a question is correct is critical for domains such as science and medicine, where user trust and detecting costly errors are limiting factors to adoption. One of the central barriers to training question answering models on explainable inference tasks is the lack of gold explanations to serve as training data. In this paper we present a corpus of explanations for standardized science exams, a recent challenge task for question answering. We manually construct a corpus of detailed explanations for nearly all publicly available standardized elementary science question (approximately 1,680 3rd through 5th grade questions) and represent these as "explanation graphs" -- sets of lexically overlapping sentences that describe how to arrive at the correct answer to a question through a combination of domain and world knowledge. We also provide an explanation-centered tablestore, a collection of semi-structured tables that contain the knowledge to construct these elementary science explanations. Together, these two knowledge resources map out a substantial portion of the knowledge required for answering and explaining elementary science exams, and provide both structured and free-text training data for the explainable inference task.

연구 동기 및 목표

• 과학 도메인에서 설명 가능한 질문 응답 모델을 훈련하기 위한 골드 표준 설명의 부족을 해결하기 위해.
• 문장 간 어휘적 겹침을 사용하여 다단계 추론을 모델링하는 구조적이고 확장 가능한 설명 그래프 코퍼스를 개발하기 위해.
• 공간적이지도, 수학적이지도 않은 초등 과학 질문을 위한 반구조화된 지식을 포함한 설명 중심의 테이블 스토어를 만들기 위해.
• 지식 빈도, 설명 겹침, 테이블 스토어 성장을 분석하여 향후 추론 모델의 코퍼스 크기 요구량을 추정하기 위해.
• 사람이 읽을 수 있는 근거를 생성하는 설명 가능한 추론 시스템을 훈련시켜 과학 및 의료 분야에서 신뢰도와 일반화 능력을 향상시키기 위해.

제안 방법

• 표준화된 초등 과학 질문 1,680개에 대해 수작업으로 설명 그래프를 구축하여, 추론을 상호 연결된 어휘적 겹침 문장으로 표현하기 위해.
• 명시적인 의미적 연결을 가진 자유형 텍스트 시퀀스로 설명을 표현하여 다단계 추론 모델링을 가능하게 하기 위해.
• 설명을 구성하기 위한 도메인 및 세계 지식을 포함한 62개 테이블, 4,950행의 설명 중심 테이블 스토어를 구축하기 위해.
• 코퍼스 크기, 설명 겹침, 테이블 스토어 성장 간의 관계를 모델링하기 위해 몬테카를로 시뮬레이션을 사용하기 위해.
• 지식 빈도 및 겹침 패턴을 분석하여 다양한 겹침 요구 조건을 충족시키기 위한 최소 코퍼스 크기를 추정하기 위해.
• 비례 감쇠 함수를 사용하여 테이블 스토어 성장을 모델링하여, 약 10,000개 질문에 대해 약 6,000행에서 점점 수렴함을 보여주며, 도메인의 핵심 지식에 대한 유한한 상한선을 제시하기 위해.

실험 결과

연구 질문

• RQ1 설명 가능한 추론 모델을 훈련하기 위해 필요한 최소 코퍼스 크기는 얼마인가? 이 모델은 초등 과학 질문 전반에 걸쳐 일반화할 수 있어야 한다.
• RQ2 질문 간 설명 겹침은 코퍼스 크기와 어떻게 비례하는가? 이는 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 모든 공간적이지도, 수학적이지도 않은 초등 과학 질문을 설명하기 위해 필요한 지식 기반(테이블 스토어)의 점 渐진 크기는 얼마인가?
• RQ4 설명에 공유되는 지식 행의 수가 다단계 추론 모델의 훈련 가능성에 어떻게 영향을 미치는가?
• RQ5 지식 빈도 및 겹침 패턴의 예측 가능한 패턴을 활용하여 새로운 도메인의 데이터 요구량을 추정할 수 있는가?

주요 결과

• 코퍼스는 평균 6개 문장으로 구성된 설명 그래프가 부여된 1,680개의 초등 과학 질문을 포함하며, 어휘적 겹침을 통해 다단계 추론가능성을 제공한다.
• 설명 겹침은 코퍼스 크기와 함께 로그적으로 증가하며, 1개의 공유 행만 필요로 하는 모델의 경우 약 500개 질문으로 충분할 수 있으나, 3개 이상의 공유 행을 요구하는 모델의 경우 약 20,000개 질문이 필요할 수 있음을 시사한다.
• 설명 테이블 스토어는 감쇠 함수에 따라 비례적으로 성장하며, 약 10,000개 질문 이후 약 6,000개의 고유 행에서 점점 수렴함을 보여주며, 이는 도메인 내 핵심 지식에 대한 유한한 상한선을 의미한다.
• 코퍼스 크기와 설명 겹침 간의 관계는 강하게 로그적임을 확인하여, 몇백 개의 질문이 애초에 애너테이션 처리된 후부터 데이터 필요량을 추정할 수 있음을 시사한다.
• 테이블 스토어와 설명 그래프는 모두 구조화된 데이터와 자유형 텍스트 데이터를 제공하여, 검색 기반 및 생성 기반의 설명 가능한 추론 모델 모두를 지원한다.
• 코퍼스와 도구는 http://www.cognitiveai.org/explanationbank 에 공개되어 있어 설명 가능한 AI 분야의 재현 가능 연구 및 모델 개발을 가능하게 한다.