[논문 리뷰] Natural Language QA Approaches using Reasoning with External Knowledge

Chitta Baral, Pratyay Banerjee외 2명|arXiv (Cornell University)|2020. 03. 06.

Topic Modeling참고 문헌 81인용 수 5

한 줄 요약

이 논문은 외부 지식을 활용한 추론에 기반한 최근 자연어 질의응답(NLQA) 분야의 발전을 조사한다. 기호적, 신경망적, 신경기호적 방법을 통합하여 분석하며, 공통지식, 세계 지식, 논리적 추론이 필요한 데이터셋을 강조하고, 지식 표현과 NLP 연구를 통합하기 위한 주요 과제와 향후 방향을 규명한다.

ABSTRACT

Question answering (QA) in natural language (NL) has been an important aspect of AI from its early days. Winograd's ``councilmen'' example in his 1972 paper and McCarthy's Mr. Hug example of 1976 highlights the role of external knowledge in NL understanding. While Machine Learning has been the go-to approach in NL processing as well as NL question answering (NLQA) for the last 30 years, recently there has been an increasingly emphasized thread on NLQA where external knowledge plays an important role. The challenges inspired by Winograd's councilmen example, and recent developments such as the Rebooting AI book, various NLQA datasets, research on knowledge acquisition in the NLQA context, and their use in various NLQA models have brought the issue of NLQA using ``reasoning'' with external knowledge to the forefront. In this paper, we present a survey of the recent work on them. We believe our survey will help establish a bridge between multiple fields of AI, especially between (a) the traditional fields of knowledge representation and reasoning and (b) the field of NL understanding and NLQA.

연구 동기 및 목표

• 기존의 지식 표현 및 추론(KRR) 연구와 현대적 NLP 및 NLQA 연구를 연결하기 위해.
• 입력 텍스트 외부의 지식이 필요로 하는 데이터셋을 특정하고 분석하기 위해.
• 구조화된 지식, 텍스트 기반 지식, 신경망 임bedded 지식, 공통지식 등 다양한 유형의 지식이 NLQA 모델에서 어떻게 사용되는지 검토하기 위해.
• 신경망, 기호적, 신경기호적 모델이 외부 지식을 추론하는 데서 성능 및 한계를 평가하기 위해.
• 특히 정의적 개념과 지식 획득에 초점을 맞춰 NLQA에서의 추론 향상을 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• OpenBookQA, CommonsenseQA, HotpotQA, DROP, WinoGrande와 같은 20개 이상의 최근 NLQA 데이터셋을 조사하여 외부 지식이 필요로 하는지 분석한다.
• NLQA에서 사용되는 지식 유형을 분류: 구조화된 지식, 텍스트 기반 지식, 신경망 임베딩 지식, 공통지식.
• 지식의 표현 방식과 추론 모듈의 종류(기호적, 신경망, 신경기호적)에 따라 모델 아키텍처를 분석한다.
• 기호적 수학 및 논리적 추론과 같은 정성적·정량적 추론 작업에서 모델의 성능을 평가한다.
• Transformers가 고전적 논리와 제한된 비단조화성 추론을 다룰 때의 추론 능력을 검토한다.
• 모델의 해석 가능성과 정확도 향상을 위해 언어적 개념(예: 'indicates')을 논리적 정의로 정의하고 형식화하는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 OpenBookQA, WinoGrande, DROP 등 다양한 NLQA 데이터셋은 입력 문맥 외부의 지식을 어떻게 요구하는가?
• RQ2 신경망, 기호적, 신경기호적 모델이 외부 지식을 추론하는 데서 각각의 강점과 한계는 무엇인가?
• RQ3 신경망 모델이 추론적 추론과 비단조화성 추론을 어느 정도 수행할 수 있으며, 실패 모드는 무엇인가?
• RQ4 정의적 개념인 'indicates'와 같은 개념을 논리적 정의로 형식화하면 모델 성능과 일반화 능력 향상에 기여할 수 있는가?
• RQ5 수동적으로 지식을 논리적 형태로 정의하는 것과 데이터에서 학습하는 것 중 어느 것이 더 효과적인가?

주요 결과

• 신경망 모델은 정성적 추론 작업(예: QuaRel, QuaRTz)에서 인간의 94–95% 성능에 비해 70–80% 성능을 기록한다.
• 신경망 모델은 단순한 추론적 추론(예: AbductiveNLI 이항 다중선택지 문제)에서는 뛰어난 성능을 보이지만, 가설 생성 작업에서는 실패한다.
• 기호적 및 신경기호적 모델은 논리적 일관성과 복합성 요구가 있는 복잡한 추론 작업에서 순수 신경망 모델을 능가한다.
• Transformers는 기본적인 자연어 규칙을 이해하고 제한된 비단조화성 추론을 수행할 수 있지만, 복잡한 논리적 의존성에는 어려움을 겪는다.
• 논리적 정의로 핵심 언어적 개념(예: 'indicates')을 형식화하면, 특히 생애주기 및 시간적 추론 작업에서 모델의 정확도와 해석 가능성이 향상된다.
• LifeCycleQA 및 OpenBookQA와 같은 데이터셋은 'indicates'와 같은 단어의 정확한 의미 정의가 정확한 추론을 위해 필수적임을 보여주며, 이러한 정의는 훈련 데이터에서 자주 누락되어 있다.