[논문 리뷰] A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories

Nasrin Mostafazadeh, Nathanael Chambers외 6명|arXiv (Cornell University)|2016. 04. 06.

Topic Modeling참고 문헌 26인용 수 97

한 줄 요약

이 논문은 50,000개의 다섯 문장으로 구성된 공통된 이해 사고 스토리로 이루어진 고품질 코퍼스인 ROCStories를 소개하고, 더 깊은 언어 이해를 평가하기 위한 새로운 평가 프레임워크인 스토리 클로즈 테스트를 제안한다. 이 프레임워크는 모델이 두 가지 선택지 중에서 올바른 스토리 끝말을 선택하도록 하여, 심층적인 인과적 및 시간적 사건 관계를 이해하는 능력을 시험한다. 결과적으로 심층 표현을 기반으로 한 최신 모델들조차도 어려움을 겪는 것으로 나타나, 인과적 및 시간적 관계를 더 풍부하게 모델링할 필요성이 강조된다.

ABSTRACT

Representation and learning of commonsense knowledge is one of the foundational problems in the quest to enable deep language understanding. This issue is particularly challenging for understanding casual and correlational relationships between events. While this topic has received a lot of interest in the NLP community, research has been hindered by the lack of a proper evaluation framework. This paper attempts to address this problem with a new framework for evaluating story understanding and script learning: the 'Story Cloze Test'. This test requires a system to choose the correct ending to a four-sentence story. We created a new corpus of ~50k five-sentence commonsense stories, ROCStories, to enable this evaluation. This corpus is unique in two ways: (1) it captures a rich set of causal and temporal commonsense relations between daily events, and (2) it is a high quality collection of everyday life stories that can also be used for story generation. Experimental evaluation shows that a host of baselines and state-of-the-art models based on shallow language understanding struggle to achieve a high score on the Story Cloze Test. We discuss these implications for script and story learning, and offer suggestions for deeper language understanding.

연구 동기 및 목표

• 공통된 이해 스토리 이해 및 스크립트 학습을 위한 체계적인 평가 프레임워크 부족 문제를 해결하기 위해.
• 인과적 및 시간적 관계가 풍부한 일상적인 사건 중심의 다섯 문장으로 구성된 공통된 이해 스토리로 이루어진 고품질의 커뮤니티 기반 코퍼스를 구축하기 위해.
• 이전의 서사 클로즈 테스트보다 더 견고한 벤치마크로, 이전에는 이벤트 예측에 국한되었지만, 이 테스트는 전체 문장 완성에 중점을 두어 더 나은 평가 기준을 제안하기 위해.
• 신경망 및 리트리ieval 기반 방법을 포함한 다양한 모델들이 이 새로운 벤치마크에서 어떻게 성능을 내는지 평가하여 현재 접근 방식의 한계를 규명하기 위해.
• 심층적인 의미적 이해를 갖춘 모델 개발을 장려하기 위해, 심지어 최신 모델들조차도 무작위 기준선을 略로 뛰어넘는 데 그치는 것을 보여주기 위해.

제안 방법

• ROCStories 코퍼스는 일상적인 사건에 중심을 두고 인과적 및 시간적 구조가 명확한 다섯 문장의 스토리를 유도하기 위해 정교하게 설계된 프롬프트를 사용해 커뮤니티 기반으로 수집되었다.
• 각 스토리는 인간 애너테이터의 이중 검증을 포함한 여러 단계의 품질 관리 절차를 거쳐 일관성과 공통된 이해 가능성 여부를 확보했다.
• 스토리 클로즈 테스트 형식은 앞서 오는 네 문장과 인과적 및 시간적 일관성을 유지하는 올바른 마지막 문장을 두 가지 선택지 중에서 고르는 것을 요구한다.
• 인간이 검증한 정답 레이블을 통해 높은 신뢰도를 확보한 바, 총 3,742개의 검증된 스토리 클로즈 테스트 케이스가 생성되었다.
• 다양한 베이스라인 모델들이 평가되었으며, 빈도 기반, n-그램, 감성 기반, 스킵-소프트, 서사 체인, DSSM 등과 같은 심층 신경망 모델이 모두 ROCStories 코퍼스에 맞게 훈련되거나 수정되었다.
• DSSM 모델은 깊이 있는 신경망을 사용해 맥락과 후보 끝말을 공통된 벡터 공간에 매핑하고 코사인 유사도를 사용하며, 테스트 세트에서 최고의 정확도(51.0%)를 기록했지만, 항상 첫 번째 선택지를 고르는 기준선(51.3%)을 略로 뛰어넘는 데 그쳤다.

실험 결과

연구 질문

• RQ1 전체 문장 완성에 기반한 새로운 평가 프레임워크가 이벤트 예측에 기반한 이전의 서사 클로즈 테스트보다 더 깊은 공통된 이해 이해를 평가하는 데 더 효과적인가?
• RQ2 현재 최신 기술의 모델들이 얕은 언어적 특징에 의존할 경우, 새로운 공통된 이해 스토리 구조에 일반화하는 데 얼마나 실패하는가?
• RQ3 다섯 문장의 공통된 이해 스토리로 이루어진 대규모 고품질 커뮤니티 기반 코퍼스는 얼마나 효과적으로 스토리 이해 시스템의 평가를 가능하게 하는가?
• RQ4 스토리 완성 작업에서 무작위 기준선을 크게 뛰어넘는 데 필요한 의미적 표현은 어떤 것인가?
• RQ5 스토리 클로즈 테스트는 진정으로 공통된 이해 추론을 학습한 모델과 데이터의 표면적 패턴을 악용하는 모델을 효과적으로 구분할 수 있는가?

주요 결과

• 전체 문장 끝말 선택을 요구하는 스토리 클로즈 테스트는 이전의 서사 클로즈 테스트보다 훨씬 더 어려운 도전이었으며, 테스트된 모든 모델들이 무작위 기준선(50%)을 略로 뛰어넘는 데 그쳤다.
• 성능이 가장 뛰어난 모델인 딥 스트럭처드 세미틱 모델(DSSM)은 테스트 세트에서 51.0%의 정확도를 기록했으며, 이는 항상 첫 번째 선택지를 고르는 기준선(51.3%)보다 0.7%p 뿐 높은 결과였다. 이는 깊이 있는 이해에 대한 진전이 극히 미미하다는 것을 시사한다.
• 이벤트 수준의 표현에 기반한 모델들, 예를 들어 서사 체인 모델들은 성능이 열악했다(테스트 세트에서 47.8%). 이는 동사와 문법적 역할을 넘어서는 복잡한 사건 의미를 포착하지 못하기 때문이다.
• 결과적으로 현재의 모델들이 얕은 언어적 특징에 의존할 경우, 스토리 내 인과적 및 시간적 일관성을 충분히 모델링하지 못함을 시사하며, 더 풍부한 의미적 표현이 필요함을 강조한다.
• 인간의 테스트 세트에서의 성능은 100%였으며, 이는 데이터셋의 고품질성과 비트레이드성(비단순성)을 확인하고, 깊은 언어 이해 평가의 기준으로서의 신뢰성을 입증한다.
• 본 연구는 이전의 서사 클로즈 테스트가 모델들이 표면적 패턴을 악용하도록 유도했을 수 있으며, 진정된 공통된 이해 지식을 학습하도록 유도하지 못했음을 보여주며, 더 견고한 평가 프레임워크로 스토리 클로즈 테스트로의 전환을 촉구한다.