[논문 리뷰] Towards Generalizable Neuro-Symbolic Systems for Commonsense Question Answering

Kaixin Ma, Jonathan Francis외 3명|arXiv (Cornell University)|2019. 10. 30.

Topic Modeling참고 문헌 40인용 수 9

한 줄 요약

이 논문은 일반지식 질문 응답을 위한 신경기호 모델에서 지식 통합에 대해 조사하며, 주로 주의 기반 통합과 ConceptNet 및 ATOMIC을 활용한 사전 훈련을 비교한다. 주의 기반 통합이 사전 훈련을 능가하며, 지식 기반과 데이터셋 간의 도메인 일치가 모델 성공에 핵심적임을 발견한다.

ABSTRACT

Non-extractive commonsense QA remains a challenging AI task, as it requires systems to reason about, synthesize, and gather disparate pieces of information, in order to generate responses to queries. Recent approaches on such tasks show increased performance, only when models are either pre-trained with additional information or when domain-specific heuristics are used, without any special consideration regarding the knowledge resource type. In this paper, we perform a survey of recent commonsense QA methods and we provide a systematic analysis of popular knowledge resources and knowledge-integration methods, across benchmarks from multiple commonsense datasets. Our results and analysis show that attention-based injection seems to be a preferable choice for knowledge integration and that the degree of domain overlap, between knowledge bases and datasets, plays a crucial role in determining model success.

연구 동기 및 목표

• 다양한 지식 기반(ConceptNet, ATOMIC)과 통합 방법(주의, 사전 훈련)이 일반지식 QA 성능에 미치는 영향을 분석하기 위해.
• 지식 기반과 QA 데이터셋 간의 도메인 겹침이 모델 일반화에 미치는 영향을 조사하기 위해.
• 지식 통합 방법이 다양한 일반지식 추론 작업에서 성능 향상에 기여하는지 확인하기 위해.
• 특정 질문 유형에 가장 유익한 일반지식 유형(예: 인과적, 관계적, 절차적)을 특정 파악하기 위해.
• 모델의 강건성과 비일치된 작업에서의 성능 저하 측면에서 사전 훈련과 주의 기반 통합 간의 상충 관계를 탐색하기 위해.

제안 방법

• DREAM과 CommonsenseQA라는 두 가지 일반지식 QA 벤치마크에서 ConceptNet과 ATOMIC을 사용한 지식 주입을 적용한 옵션 비교 네트워크(OCN) 모델을 평가하였다.
• 두 가지 지식 통합 전략을 적용하였다: (1) BERT의 은닉 상태에 검색된 지식 삼중항을 주의 기반으로 통합하고, (2) BERT를 ConceptNet(OMCS) 또는 ATOMIC의 지식 삼중항으로 사전 훈련하였다.
• ConceptNet 관계(예: 'Causes', 'Desires')를 기반으로 질문을 분류하여 각 지식 유형별 성능을 분석하였다.
• 질문 유형과 통합 방법 간의 모델 성능를 비교하기 위해 분석 실험을 수행하였으며, 정확도와 가중치 분포 이동을 측정하였다.
• 추론 중에 관련 지식 삼중항에 동적으로 주의를 기울이는 주의 메커니즘을 사용하여 맥락 인식 기반의 지식 통합을 가능하게 하였다.
• 지속적인 실패 원인을 특정하기 위해 오류 분석을 수행하였으며, 특히 부정 및 반의어 기반 질문 처리에서의 어려움을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 일반지식 QA 작업에서 주의 기반 지식 통합이 지식 기반 사전 훈련보다 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ2 지식 기반과 QA 데이터셋 간의 도메인 겹침이 모델 성공에 얼마나 큰 영향을 미치는가?
• RQ3 인과적, 관계적, 절차적 등 일반지식 유형 중 어떤 것이 특정 질문 유형에 가장 효과적인가?
• RQ4 지식 기반으로 사전 훈련하면 비일치된 질문 유형에서 성능 저하가 발생하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 왜 모델은 반의어 기반 질문에서 어려움을 겪는가? 이는 현재 추론 능력에 대한 어떤 시사점을 제공하는가?

주요 결과

• 주의 기반 지식 통합은 도메인 일치가 열악할 경우에도 일관되게 사전 훈련을 능가했으며, 비일반지식 질문에서는 성능 저하가 발생하지 않았다.
• 지식 기반으로 사전 훈련하면 모델 가중치 분포가 크게 이동하여 지식 도메인에 치우치며, 관련 없는 질문 유형에서 성능이 저하되었다.
• 지식 통합으로 인한 성능 향상은 인과적, 욕망, 반응 추론이 필요한 질문에서 가장 두드러졌으며, 특히 ATOMIC을 사용해 'Causes'와 'Wants' 관계를 다룰 경우에 두드러졌다.
• 부정 또는 반의어를 포함한 질문은 항상 가장 도전적인 것으로 나타나, 모델이 부정 문장에서의 추론 능력에 여전히 큰 격차를 보이고 있음을 시사한다.
• 도메인 일치가 양호할 경우 주의 통합과 사전 훈련 모두 성능 향상을 이끌었으며, 두 방법의 조합은 추가적인 성능 향상을 가져왔다.
• ATOMIC으로 사전 훈련한 모델은 'CausesDesire'와 'Desires' 유형에서 성능 향상을 보였으며, 이는 ATOMIC의 사회적·정서적 추론에 중점을 두고 있음을 반영하여 의미적 일치의 중요성을 확인시켰다.