[논문 리뷰] Dynamic Knowledge Graph Construction for Zero-shot Commonsense Question Answering

Antoine Bosselut, Yejin Choi|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 29인용 수 38

한 줄 요약

이 논문은 생성형 신경 공공의식 모델을 사용하여 수요에 따라 맥락적으로 관련성이 높은 지식을 생성함으로써 제로샷 공공의식 질문 응답을 위한 동적 지식 그래프 구축 방법을 제안한다. 이러한 동적으로 구축된 그래프 위에서 추론을 확률적 추론으로 공식화함으로써, 사전 훈련된 언어 모델과 지식 모델을 사용한 직접적인 답변 평가에 비해 SocialIQa 및 StoryCommonsense 데이터셋에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Understanding narratives requires dynamically reasoning about the implicit causes, effects, and states of the situations described in text, which in turn requires understanding rich background knowledge about how the social and physical world works. At the core of this challenge is how to access contextually relevant knowledge on demand and reason over it. In this paper, we present initial studies toward zero-shot commonsense QA by formulating the task as probabilistic inference over dynamically generated commonsense knowledge graphs. In contrast to previous studies for knowledge integration that rely on retrieval of existing knowledge from static knowledge graphs, our study requires commonsense knowledge integration where contextually relevant knowledge is often not present in existing knowledge bases. Therefore, we present a novel approach that generates contextually relevant knowledge on demand using generative neural commonsense knowledge models. Empirical results on the SocialIQa and StoryCommonsense datasets in a zero-shot setting demonstrate that using commonsense knowledge models to dynamically construct and reason over knowledge graphs achieves performance boosts over pre-trained language models and using knowledge models to directly evaluate answers.

연구 동기 및 목표

• 정적 지식 기반에서 부족한 맥락적으로 관련성이 높은 공공의식 지식을 제로샷 질문 응답에서 접근하는 데 도전하는 것.
• 기존의 정적 지식 그래프에 의존하는 대신, 필요에 따라 관련 공공의식 지식을 생성하는 방법을 개발하는 것.
• 동적 지식 그래프 구축과 생성된 지식에 대한 확률적 추론을 통합하여 제로샷 공공의식 추론을 향상시키는 것.
• 생성형 공공의식 모델이 최종 QA 작업을 위한 맥락 인식 지식 그래프를 구축하는 데 효과적인지 입증하는 것.

제안 방법

• 이 방법은 제로샷 공공의식 QA를 동적으로 구축된 지식 그래프 위에서의 확률적 추론으로 공식화한다.
• 정적 지식 기반에서 검색하는 대신, 실시간으로 맥락적으로 관련성이 높은 지식 항목을 생성하는 생성형 신경 공공의식 지식 모델을 활용한다.
• 생성된 지식은 입력 내러티브와 관련된 인과관계, 의도적 관계 및 상태 관련 관계를 포괄하는 지식 그래프로 구조화된다.
• 동적 그래프 위에서 확률적 추론을 수행하여 답변을 유도함으로써 암시적 세계 지식에 기반한 추론이 가능해진다.
• 사전 훈련된 언어 모델과 통합되어 맥락 내러티브 입력에 기반한 추론를 정착시킨다.
• SocialIQa 및 StoryCommonsense 데이터셋을 사용하여 제로샷 설정에서 종단 간(end-to-end)으로 프레임워크를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 동적으로 생성된 공공의식 지식 그래프는 정적 지식 기반 검색을 초월하여 제로샷 공공의식 질문 응답을 향상시킬 수 있는가?
• RQ2 지식 모델을 사용한 직접적인 답변 평가에 비해, 동적으로 구축된 지식 그래프 위에서의 확률적 추론은 얼마나 효과적인가?
• RQ3 생성형 공공의식 모델이 기존 지식 기반에 존재하지 않는 맥락적으로 관련성이 높은 지식을 얼마나 잘 공급할 수 있는가?
• RQ4 수요에 따라 지식 그래프를 구축하는 것이 암시적 내러티브 상태 및 인과관계에 대한 더 나은 추론을 이끌어내는가?
• RQ5 공공의식 추론 벤치마크에서 제로샷 설정에서 제안된 방법은 강력한 베이스라인과 어떻게 비교되는가?

주요 결과

• 동적 지식 그래프 구축 방법은 SocialIQa 및 StoryCommonsense 데이터셋에서 사전 훈련된 언어 모델에 비해 제로샷 공공의식 질문 응답에서 성능 향상을 달성한다.
• 지식 기반의 직접적 평가보다 생성형 모델을 활용해 맥락 인식 지식 그래프를 구축함으로써 더 나은 추론이 가능하다.
• 수요에 따라 관련 지식을 생성함으로써 이는 내러티브의 암시적 인과관계 및 의도적 관계를 효과적으로 포착한다.
• 정적 지식 기반 통합에 비해 동적으로 생성된 그래프 위에서의 확률적 추론이 답변 정확도를 향상시킨다.
• 이 프레임워크는 특히 기존 지식 기반에 존재하지 않는 요구되는 공공의식 지식이 없는 상황에서 강력한 제로샷 일반화 성능을 보여준다.
• 실험 결과는 동적 지식 생성이 검색 기반 접근법보다 새로운 맥락적 복잡도를 가진 공공의식 추론 작업에서 더 효과적임을 확인한다.