[논문 리뷰] KG^2: Learning to Reason Science Exam Questions with Contextual Knowledge Graph Embeddings

Yuyu Zhang, Hanjun Dai외 2명|arXiv (Cornell University)|2018. 05. 31.

Topic Modeling참고 문헌 21인용 수 23

한 줄 요약

KG²는 질문과 지원 문장에서 맥락적 지식 그래프를 구성함으로써 과학 질문 이해 성능을 햖थ기기 위한 신경 추론 프레임워크를 제안한다. 짝지어진 가설과 지원 사실 그래프 위에서 추론을 학습함으로써 ARC 챌린지 세트에서 31.70점을 기록하여 이전 최고 성능 방법보다 17.5% 높게 성과를 냈다.

ABSTRACT

The AI2 Reasoning Challenge (ARC), a new benchmark dataset for question answering (QA) has been recently released. ARC only contains natural science questions authored for human exams, which are hard to answer and require advanced logic reasoning. On the ARC Challenge Set, existing state-of-the-art QA systems fail to significantly outperform random baseline, reflecting the difficult nature of this task. In this paper, we propose a novel framework for answering science exam questions, which mimics human solving process in an open-book exam. To address the reasoning challenge, we construct contextual knowledge graphs respectively for the question itself and supporting sentences. Our model learns to reason with neural embeddings of both knowledge graphs. Experiments on the ARC Challenge Set show that our model outperforms the previous state-of-the-art QA systems.

연구 동기 및 목표

• 표면적인 패tern을 넘어서 깊이 있는 추론이 필요한 복잡하고 논리 중심인 과학 시험 문제를 해결하는 데 도전한다.
• 대규모 문헌 자료와 신경 모델을 사용하고도 ARC 챌린지 세트에서 실패하는 기존 QA 시스템의 한계를 극복한다.
• 개방형 시험에서 인간의 문제 해결 방식을 모방하기 위해 질문의 초석과 선택지를 가설로 조합하고, 지원 정보를 검색하며 그래프 기반 추론을 통해 이를 검증한다.
• 지식의 구조적 표현 위에서 추론을 학습할 수 있는 미분 가능 신경 프레임워크를 개발하여 일반화 능력과 해석 가능성 향상.
• ARC 벤치마크에서의 진전을 위해 나머지 곤경을 식별 가능한 범주(예: 지원 정보 부족, 구문 분석 오류, 복잡한 추론)로 분해한다.

제안 방법

• 질문의 초석과 각 선택지를 조합하여 가설 그래프를 구성하고, 개방형 정보 추출(Open IE)을 사용해 주어진-서술어-목적어 삼중항을 추출한다.
• 검색 엔진을 사용해 ARC 코퍼스에서 지원 문장을 검색한 후, Open IE를 통해 관련 지식을 표현하는 지원 사실 그래프를 생성한다.
• 가설과 지원 그래프를 모두 지식 그래프로 표현하여 실체를 노드로, 관계를 간선으로 설정함으로써 구조적 추론을 가능하게 한다.
• 가설 그래프와 지원 그래프 간의 구조적 패턴을 비교하여 정답을 예측할 수 있는 미분 가능한 신경 추론 엔진을 훈련한다.
• 가설 그래프의 추론 패턴을 지원 그래프의 패턴과 일치시키기 위해 대비 학습 목표를 사용하여 일반화 능력을 향상시킨다.
• 경사 하강법을 사용해 임베딩과 추론 결정을 종합적으로 최적화하며, 주요 하위그래프에 집중하기 위해 주의 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 질문과 지원 정보에서 맥락적 지식 그래프를 구성하는 신경 추론 모델이 ARC 챌린지 세트에서 기존 QA 시스템을 능가할 수 있는가?
• RQ2 구조적 표현 위에서 그래프 기반 추론이 고도의 논리와 이해가 요구되는 질문에서 성능 향상에 얼마나 기여하는가?
• RQ3 현재 QA 시스템이 ARC 챌린지 세트에서 실패하는 주요 원인은 무엇이며, 지식 그래프 기반의 구조적 추론으로 이를 완화할 수 있는가?
• RQ4 지식 커버리지와 구문 분석 품질 향상에 따라 모델의 성능이 어떻게 변화하는가?
• RQ5 지식 그래프 기반의 미분 가능하고 종합적인 추론 프레임워크는 신경 기반 QA와 과학 시험에서 인간 수준의 성능 간 격차를 줄일 수 있는가?

주요 결과

• KG²는 ARC 챌린지 세트에서 테스트 점수 31.70점을 기록하여 이전 최고 성능인 26.41점 대비 17.5% 향상되었다.
• BiDAF(26.54)와 TableILP(26.97)와 같은 강력한 기반 모델들보다도 유의미하게 뛰어나, 그래프 기반 추론의 효과성을 입증했다.
• 무작위 기반 점수는 25.02점이었으며, 이는 이전 방법들이 랜덤보다 약간 높은 성능를 보였음을 시사하며, ARC 챌린지 세트의 난이도를 반영한다.
• 분석 결과, 50%의 질문에서 코퍼스에 충분한 지원 정보가 부족한 것으로 나타나, 지식 커버리지가 주요 제약 요소임을 시사한다.
• 12%의 질문에서 Open IE의 구문 분석 오류로 인해 실패한 것으로 나타나, 문장 수준의 구문 분석 향상이 성능 향상에 기여할 수 있음을 시사한다.
• 현재 프레임워크 하에서 정답을 도출할 수 있는 질문은 오직 15%에 불과하여, 모든 학습 가능한 질문이 정확히 해결된다고 가정할 경우 현재 방법의 상한선는 약 36.25점 수준임을 시사한다.