[논문 리뷰] Question Answering as Global Reasoning over Semantic Abstractions

Daniel Khashabi, Tushar Khot외 2명|arXiv (Cornell University)|2019. 06. 09.

Topic Modeling인용 수 56

한 줄 요약

SemanticILP는 여러 의미 추상화를 통해 질문, 답, 텍스트를 연결하는 전역 추론 프레임워크를 구성하고, 최적의 보조 그래프를 선택하기 위해 ILP로 형식화합니다. 과학 QA 데이터셋에서 기준선 대비 2–6%의 향상을 보이고, 도메인 특화 감독 없이도 생물학에서 강한 결과를 보입니다.

ABSTRACT

We propose a novel method for exploiting the semantic structure of text to answer multiple-choice questions. The approach is especially suitable for domains that require reasoning over a diverse set of linguistic constructs but have limited training data. To address these challenges, we present the first system, to the best of our knowledge, that reasons over a wide range of semantic abstractions of the text, which are derived using off-the-shelf, general-purpose, pre-trained natural language modules such as semantic role labelers, coreference resolvers, and dependency parsers. Representing multiple abstractions as a family of graphs, we translate question answering (QA) into a search for an optimal subgraph that satisfies certain global and local properties. This formulation generalizes several prior structured QA systems. Our system, SEMANTICILP, demonstrates strong performance on two domains simultaneously. In particular, on a collection of challenging science QA datasets, it outperforms various state-of-the-art approaches, including neural models, broad coverage information retrieval, and specialized techniques using structured knowledge bases, by 2%-6%.

연구 동기 및 목표

• 다양한 언어 현상을 추론해야 하는 데이터가 희소한 도메인을 다룬다.
• Q, A, P의 풍부한 의미 그래프 표현을 만들기 위해 다수의 범용 NLP 도구를 활용한다.
• ILP를 통해 데이터의 글로벌/로컬 제약 조건으로 연결된 최적의 보조 그래프를 선택하는 QA를 형식화한다.
• 과학(초등~중학생 수준) 및 생물학 독해 데이터셋에서 도메인 간 효과를 시연한다.

제안 방법

• Q, A, P를 다수의 NLP 모듈(SRL, 핵심참조, 의존 구문 분석 등)에서 파생된 의미 그래프의 가족으로 표현한다.
• 동의어/ entailment 가능한 간선 추가: Q, A, P 사이의 유사성/포함 관계를 어휘적/의미 자원(WordNet, Paragram)을 사용해 보강한다.
• 두고 있는 I+ 확장 그래프와 G를 Q에서 단일 A로 P를 통해 연결하는 유효한 보조 그래프를 제약하는 제약 집합을 정의한다.
• 가중된 점수와 소프트 제약을 최대화하는 ILP를 형식화하여 최적의 G*를 선택한다.
• 복수의 주석자 조합을 사용해 해결사 앙상블을 만들고 선형 점수를 통해 답별 신뢰도를 계산한다.
• 필요 시 여러 데이터셋의 결과를 결합하기 위해 패시지 발췌를 생성하고 해결사를 앙상블로 사용한다.

실험 결과

연구 질문

• RQ1 질문 응답이 표면 텍스트만 의존하는 대신 다양한 의미 추상화를 통해 추론함으로써 어떻게 향상될 수 있는가?
• RQ2 광범위하고 다소 노이즈가 섞인 의미 그래프 표현을 사용한 추론이 데이터가 희소한 도메인에서 신경망 기준선을 능가하는가?
• RQ3 다수의 SRL/언어적 뷰(동사/명사/전치사 SRL, 핵심참조, 의존성) 사용이 QA 성능에 어떤 영향을 미치는가?
• RQ4 도메인별 특수 감독 없이 ILP 기반의 글로벌 추론 프레임워크가 도메인 간 일반화가 가능한가?

주요 결과

• SemanticILP는 과학 데이터셋에서 일관되게 기준선을 상회하여 절대적 이득 2–6%를 달성한다.
• 생물학 ProcessBank 데이터에서 SemanticILP는 도메인 특화 방법과 경쟁력 있게 작동하며 여러 기준선을 상회, 보고된 설정에서 67.9% 달성.
• ILP 크기와 복잡도 측면에서 확장이 가능하며 평균 변수는 약 ~2255, 제약은 약 ~4519로 나타나며 그래프 구성으로 인해 일부 기준선보다 모델 생성 시간이 더 걸리는 경향이 있다.
• 제거 실험은 도메인 간 주석자 조합의 중요성이 다르게 나타나며 생물학에서 특정 조합이 더 강한 결과를 주도하고 초등 과학에서 다른 조합이 강함을 보였다.