[논문 리뷰] Improving Question Answering by Commonsense-Based Pre-Training

Wanjun Zhong, Duyu Tang외 4명|arXiv (Cornell University)|2018. 09. 05.

Topic Modeling참고 문헌 39인용 수 13

한 줄 요약

이 논문은 ConceptNet을 사용하여 개념 간의 직접적이고 간접적인 관계 함수를 학습함으로써 신경 질문 응답 모델의 성능을 햖थ하는 공리적 사고 기반 사전 훈련 방법을 제안한다. 지식 그래프에서 사전 훈련하고 이러한 함수를 기존 신경 모델에 통합함으로써, 세 가지 공리적 사고 QA 벤치마크에서 성능 향상을 입증하였으며, 외부 지식이 훈련 데이터의 한계를 초월해 추론 능력을 향상시킬 수 있음을 보여준다.

ABSTRACT

Although neural network approaches achieve remarkable success on a variety of NLP tasks, many of them struggle to answer questions that require commonsense knowledge. We believe the main reason is the lack of commonsense \mbox{connections} between concepts. To remedy this, we provide a simple and effective method that leverages external commonsense knowledge base such as ConceptNet. We pre-train direct and indirect relational functions between concepts, and show that these pre-trained functions could be easily added to existing neural network models. Results show that incorporating commonsense-based function improves the baseline on three question answering tasks that require commonsense reasoning. Further analysis shows that our system \mbox{discovers} and leverages useful evidence from an external commonsense knowledge base, which is missing in existing neural network models and help derive the correct answer.

연구 동기 및 목표

• 신경 QA 모델이 공리적 사고 추론이 필요한 질문을 처리하는 데에 한계가 있음을 해결하기 위해.
• ConceptNet과 같은 외부 공리적 사고 지식 기반을 활용하여 레이블이 붙은 훈련 데이터를 초월한 모델 일반화 능력을 향상시키기 위해.
• 지식 그래프 내에서 직접적이고 간접적인 개념적 관계를 모두 포착하는 사전 훈련 방법을 개발하기 위해.
• 기존 신경 QA 모델에 최소한의 아키텍처 변경으로 사전 훈련된 관계 함수를 통합하기 위해.
• 외부 지식이 추론을 위한 유용한 증거를 효과적으로 발견하는 데 사용될 수 있음을 입증하기 위해.

제안 방법

• ConceptNet에서 그래프 기반 신경망을 사용하여 개념 간의 관계 함수를 사전 훈련하여 직접적이고 간접적인 연결을 모두 포착하기 위해.
• 각 개념을 그 텍스트 형태와 지식 그래프 내 이웃 정보로 표현하여 의미적 표현을 풍부하게 하기 위해.
• 입력 질문과 문장에 대한 관련성을 기반으로 검색된 개념의 가중치를 조정하기 위해 맥락 인식 모듈을 사용하기 위해.
• 기존 신경 QA 모델에 사전 훈련된 공리적 사고 함수를 외부 신호로 통합하여 추론 능력을 향상시키기 위해.
• 사전 훈련된 모델을 표준 신경망과 조기 융합 또는 후기 상호작용 방식으로 결합하여 예측 점수를 향상시키기 위해.
• 동일한 베이스라인 아키텍처를 사용하여 세 가지 다중 선택 QA 과제인 ARC, SemEval 2018 Task 11, OpenBook QA에 이 방법을 적용하기 위해.

실험 결과

연구 질문

• RQ1 공리적 사고 지식 기반에서의 사전 훈련이 신경 질문 응답 모델의 추론 능력을 향상시킬 수 있는가?
• RQ2 직접적이고 간접적인 개념 관계는 공리적 사고 추론 과제에서 QA 성능 향상에 얼마나 효과적인가?
• RQ3 사전 훈련된 관계 함수는 아키텍처의 대대적인 수정 없이 기존 신경 QA 모델에 쉽게 통합될 수 있는가?
• RQ4 시스템은 표준 모델에서 누락된 외부 지식 기반에서 관련 증거를 발견하고 활용하는가?
• RQ5 모델은 단순한 사실 검색을 초월해 논리적 또는 다단계 추론이 필요한 질문에서 어떻게 성능을 내는가?

주요 결과

• 공리적 사고 기반 사전 훈련 방법은 ARC, SemEval 2018 Task 11, OpenBook QA의 세 벤치마크에서 모두 기본 성능을 향상시켰다.
• 사전 훈련된 모델은 기존 신경 네트워크가 이전에는 접근할 수 없었던 ConceptNet의 관련 증거를 발견하고 활용할 수 있도록 하였다.
• 사전 훈련된 관계 함수의 통합은 간접적 또는 명시되지 않은 추론이 필요한 질문에서 특히 유의미한 성과 향상을 이끌어냈다.
• 외부 지식 기반(ConceptNet)이 QA 과제의 훈련 데이터 분포와 직접적으로 일치하지 않더라도 이 방법은 효과가 있었다.
• 오류 분석 결과, 애매한 엔티티 언급 및 복잡한 논리적 추론 처리에 한계가 있음을 확인하였으며, 이는 정규화 및 의미 분석 향상 여지가 있음을 시사한다.
• 이 방법은 모듈러하고 상호보완적이며, 사전 훈련된 모델과 기본 신경 모델을 조합하면 개별적으로 사용할 때보다 더 나은 성능을 내었다.