[논문 리뷰] Incorporating Structured Commonsense Knowledge in Story Completion

Jiaao Chen, Jianshu Chen외 1명|arXiv (Cornell University)|2018. 11. 01.

Topic Modeling참고 문헌 33인용 수 10

한 줄 요약

이 논문은 학습 가능한 조합 게이트를 통해 서사 순서, 감정 변화, ConceptNet에서 추출한 구조화된 일반지식을 통합하는 신경 서사 끝말선별 모델을 제안한다. 이 모델은 ROCStories Cloze Task에서 최신 기술을 초월하여 성능을 높이며, 일반지식을 명시적으로 통합함으로써 다양한 서사 유형에 걸쳐 서사 이해력과 일반화 능력이 크게 향상됨을 보여준다.

ABSTRACT

The ability to select an appropriate story ending is the first step towards perfect narrative comprehension. Story ending prediction requires not only the explicit clues within the context, but also the implicit knowledge (such as commonsense) to construct a reasonable and consistent story. However, most previous approaches do not explicitly use background commonsense knowledge. We present a neural story ending selection model that integrates three types of information: narrative sequence, sentiment evolution and commonsense knowledge. Experiments show that our model outperforms state-of-the-art approaches on a public dataset, ROCStory Cloze Task , and the performance gain from adding the additional commonsense knowledge is significant.

연구 동기 및 목표

• 기존의 서사 완성 모델이 외부 일반지식을 명시적으로 활용하지 못하는 한계를 해결한다.
• 서사 순서, 감정 변화, 구조화된 일반지식이라는 상호보완적인 세 가지 자료를 통합하여 서사 이해력을 향상시킨다.
• 맥락적 관련성에 따라 이러한 정보 유형의 가중치를 동적으로 조정할 수 있는 엔드 투 엔드 훈련 가능한 모델을 개발한다.
• 구조화된 일반지식이 서사와 감정 신호만으로는 달성할 수 없는 성능 향상에 기여함을 입증한다.

제안 방법

• 서사 순서를 인코딩하고 스토리 수준의 의존성을 포착하기 위해 사전에 훈련된 언어 모델 기반의 트랜스포머 디코더를 사용한다.
• 감정 변화를 모델링하기 위해 LSTM 기반 아키텍처를 적용하여 감정의 궤적을 포착한다.
• 스토리의 핵심어와 후보 끝말에서 유사한 서브그래프를 구성함으로써 ConceptNet에서 관련된 일반지식을 추출한다.
• 서사, 감정, 일반지식 구성 요소의 표현을 동적으로 융합하기 위해 학습 가능한 조합 게이트를 활용한다.
• 두 후보 중 올바른 스토리 끝말을 예측하기 위해 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 스토리 요소와 타당한 끝말을 연결하는 중요한 지식 경로를 식별하기 위해 어텐션 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 구조화된 일반지식의 통합이 서사와 감정 신호에만 의존하는 것보다 스토리 끝말 예측 성능을 향상시킬 수 있는가?
• RQ2 서사, 감정, 일반지식이라는 서로 다른 정보 유형이 다양한 서사 유형에서 모델의 결정에 어떻게 기여하는가?
• RQ3 모델이 고정된 융합 전략을 적용하는 대신, 스토리 맥락에 따라 정보 소스의 가중치를 동적으로 조정하는가?
• RQ4 서사나 감정 신호가 모호하거나 오도적인 경우, 모델이 얼마나 잘 대처하는가?
• RQ5 모델이 서사에 명시적으로 기재되지 않은 외부 세계 지식이 필요한 스토리에 일반화할 수 있는가?

주요 결과

• 제안된 모델은 ROCStories Cloze Task에서 가장 강력한 베이스라인 대비 5.2%의 성능 향상을 달성하여, 구조화된 일반지식을 통합하는 것이 효과적임을 입증한다.
• 서사와 감정 신호가 모호하거나 오도적인 경우(예: 개를 찾는 스토리), 조합 게이트는 일반지식에 더 높은 주의 가중치를 할당하는 것을 학습한다.
• 강한 감정 변화가 있는 스토리에서는 감정 구성 요소가 가장 높은 게이트 가중치(0.4880)를 받으며, 이는 모델이 지배적인 신호 유형에 적응할 수 있음을 보여준다.
• 서사 순서가 오도적인 경우, 모델은 감정 또는 일반지식 구성 요소에 더 의존함으로써 잘못된 예측를 성공적으로 수정한다.
• 부정 기반의 차이(예: '만들다' vs. '만들지 않다')를 다루는 데 어려움을 겪으며, 향후 자연어 추론 통합의 필요성을 시사한다.
• 모든 세 구성 요소에서 올바른 끝말의 조건부 확률은 잘못된 끝말보다 항상 높았으며, 융합 출력에서 가장 높은 신뢰도를 보였다.