[논문 리뷰] Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering

Weiwen Xu, Huihui Zhang외 2명|arXiv (Cornell University)|2021. 05. 25.

Topic Modeling참고 문헌 68인용 수 5

한 줄 요약

이 논문은 설명 가능하고 다단계 추론이 가능한 과학 질문에 대한 답변을 위해 추상 의미 표현(AMR)을 사용하는 동적 의미 그래프 프레임워크를 제안한다. 질문, 답변 선택지, 검색된 사실들로부터 AMR 기반 의미 그래프(AMR-SG)를 구성하고, 경로 기반 분석 및 그래프 컨볼루션 네트워크(GCN)를 적용함으로써 사실 검색과 추론 성능을 향상시켰다. 이는 ARC-Challenge에서 68.94%의 정확도로 최신 기준을 달성했고, OpenBookQA에서는 높은 성능(81.6% 정확도)을 기록했으며, 외부 지식 그래프에 의존하지 않으면서도 높은 설명 가능성을 유지한다.

ABSTRACT

Knowledge retrieval and reasoning are two key stages in multi-hop question answering (QA) at web scale. Existing approaches suffer from low confidence when retrieving evidence facts to fill the knowledge gap and lack transparent reasoning process. In this paper, we propose a new framework to exploit more valid facts while obtaining explainability for multi-hop QA by dynamically constructing a semantic graph and reasoning over it. We employ Abstract Meaning Representation (AMR) as semantic graph representation. Our framework contains three new ideas: (a) { t AMR-SG}, an AMR-based Semantic Graph, constructed by candidate fact AMRs to uncover any hop relations among question, answer and multiple facts. (b) A novel path-based fact analytics approach exploiting { t AMR-SG} to extract active facts from a large fact pool to answer questions. (c) A fact-level relation modeling leveraging graph convolution network (GCN) to guide the reasoning process. Results on two scientific multi-hop QA datasets show that we can surpass recent approaches including those using additional knowledge graphs while maintaining high explainability on OpenBookQA and achieve a new state-of-the-art result on ARC-Challenge in a computationally practicable setting.

연구 동기 및 목표

• 다단계 질문 답변에서 낮은 신뢰도의 증거 검색과 투명하지 않은 추론 문제를 해결하기 위해.
• 문자 기반 지식에서 구조화된 의미 표현을 활용해 다단계 QA의 설명 가능성을 향상시키기 위해.
• 질문, 답변, 사실들로부터 AMR를 사용해 의미 그래프를 동적으로 구성하여 내재된 관계를 드러내기 위해.
• 질문에서 답변으로 이어지는 경로를 식별함으로써 추론 체인을 형성하는 활성 증거를 특정하는 경로 기반 사실 분석 방법을 개발하기 위해.
• AMR-SG를 따라 사실 수준의 정보 전파를 모델링하기 위해 그래프 컨볼루션 네트워크(GCN)를 통합하여 예측 신뢰도와 정확도를 향상시키기 위해.

제안 방법

• 질문과 답변 선택지에서 유도된 가설의 AMR와 대규모 코퍼스에서 검색된 관련 사실의 AMR을 융합하여 AMR 기반 의미 그래프(AMR-SG)를 구성한다.
• 추상 의미 표현(AMR)을 사용하여 개념을 노드로, 관계를 간선으로 하는 루트가 있는 방향성 그래프로 의미를 표현한다.
• AMR-SG 상에서 질문에서 답변으로 이어지는 연결 경로를 분석하여 활성 증거로 사용할 사실들만 선택한다.
• AMR-SG를 따라 사실 수준의 정보 전파를 모델링하기 위해 그래프 컨볼루션 네트워크(GCN)를 적용하여 활성 사실들에 대한 추론 성능을 향상시킨다.
• 사전에 존재하는 지식 그래프에 의존하지 않고, 질문에 따라 동적으로 변하는, 임의의 단계의 관계를 포착하는 동적, 질문 기반 그래프로 AMR-SG를 간주한다.
• 최적화된 자동 파싱된 AMR을 사용하며, 추론 실험 결과 자동 파싱의 일관성이 혼합 품질의 수동 주석보다 뛰어나다는 것을 확인했다.

실험 결과

연구 질문

• RQ1 동적으로 구성된 AMR 기반 의미 그래프는 다단계 QA에서 증거 검색과 추론 성능을 향상시키는가?
• RQ2 AMR-SG 상에서 경로 기반 분석은 추론 체인에 가장 관련성이 높은 사실들을 어떻게 식별하는가?
• RQ3 GCN를 통한 사실 수준의 추론은 다단계 QA에서 예측의 신뢰도와 정확도를 얼마나 향상시키는가?
• RQ4 텍스트와 그래프 구조 사이의 의미 다리를 AMR로 제공함으로써, 외부 지식 그래프를 사용하는 방법보다 설명 가능성을 유지하면서 성능을 뛰어넘는가?
• RQ5 AMR 파싱의 일관성은 QA 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 외부 지식 그래프를 사용하는 이전 방법들을 뛰어넘어 OpenBookQA에서 81.6%의 정확도를 달성했다.
• ARC-Challenge 데이터셋에서, 계산적으로 실현 가능한 환경에서 68.94%의 정확도로 새로운 최고 성능을 기록했다.
• 경로 기반 사실 분석 방법은 사례 연구를 통해 IR이 실패한 상황에서 완전한 추론 체인을 형성하는 저점수 증거를 성공적으로 검색했다.
• GCN를 통한 사실 수준의 추론은 예측의 신뢰도를 향상시켰으며, K=2 단계에서 성능이 최고에 이르렀다. 이는 대부분의 질문이 두 개의 증거 사실로 해결 가능하다는 것을 시사한다.
• 놀랍게도, 완전히 자동화된 AMR 파싱이 혼합 품질(수동 + 자동) 및 오류가 없는 적응형 AMR 파싱보다 성능이 뛰어나며, 이는 자동 파싱에서 일관된 개념 선택이 기여했을 가능성이 있다.
• 추론 실험 결과, AMR 일관성이 성능에 상당한 영향을 미치며, 알려진 오류가 있음에도 불구하고 완전히 자동화된 AMR이 가장 높은 정확도를 기록했다.