[논문 리뷰] Story Ending Generation with Incremental Encoding and Commonsense Knowledge

Jian Guan, Yansen Wang외 1명|arXiv (Cornell University)|2018. 08. 30.

Topic Modeling참고 문헌 32인용 수 8

한 줄 요약

이 논문은 스토리 문장 간의 맥락적 단서를 포착하기 위해 점진적 인코딩을 사용하고, ConceptNet에서의 다중 소스 어텐션을 통해 일반 지식을 통합하는 신경망 모델을 제안한다. 자동 평가 및 수동 평가를 통해 검증된 결과, 최신 기준(SOTA) 보다 더 유창하고 타당한 결말을 생성한다.

ABSTRACT

Generating a reasonable ending for a given story context, i.e., story ending generation, is a strong indication of story comprehension. This task requires not only to understand the context clues which play an important role in planning the plot but also to handle implicit knowledge to make a reasonable, coherent story. In this paper, we devise a novel model for story ending generation. The model adopts an incremental encoding scheme to represent context clues which are spanning in the story context. In addition, commonsense knowledge is applied through multi-source attention to facilitate story comprehension, and thus to help generate coherent and reasonable endings. Through building context clues and using implicit knowledge, the model is able to produce reasonable story endings. context clues implied in the post and make the inference based on it. Automatic and manual evaluation shows that our model can generate more reasonable story endings than state-of-the-art baselines.

연구 동기 및 목표

• 다수의 문장에 걸쳐 펼쳐지는 논리적 맥락 단서를 모델링하여 스토리 결말 생성을 향상시키기.
• 표면적 텍스트를 초월한 암묵적 일반 지식 통합을 통해 스토리 이해를 향상시키기.
• 점진적 인코딩과 다중 소스 어텐션을 효과적으로 조합하여 더 나은 맥락 및 지식 활용을 위한 신경 아키텍처 개발하기.
• 기존 방법보다 더 유창하고 논리적이며 맥락에 부합하는 스토리 결말 생성하기.

제안 방법

• 모델은 스토리 문장을 순차적으로 처리하기 위해 점진적 인코딩을 활용하며, 각 새로운 문장이 들어올 때마다 변화하는 동적 맥락 표현을 유지한다.
• 각 단어에 대해 이전 단어와 ConceptNet에서 검색한 관련 지식 그래프를 참조하여 맥락 단서를 구성한다.
• 다중 소스 어텐션을 사용해 순환 인코더의 은닉 상태와 지식 그래프 임베딩을 동시에 참조함으로써 텍스트와 지식 간의 통합적 추론을 가능하게 한다.
• 지식 그래프 임베딩은 ConceptNet에서 유래되며, 'AtLocation' 및 'RelatedTo'와 같은 관계를 통해 엔티티와 사건을 관련된 일반 지식 사실에 연결한다.
• 최종 맥락 벡터는 은닉 상태와 지식 인식 표현을 모두 고려한 어텐션 메커니즘을 통해 가중 평균으로 계산된다.
• 모델는 순서 기반 학습과 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 자연스럽고 맥락에 부합하는 스토리 결말을 생성하도록 한다.

실험 결과

연구 질문

• RQ1 점진적 인코딩이 스토리 문장 간 장거리 논리적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 외부 지식 기반에서의 일반 지식 통합이 생성된 스토리 결말의 일관성과 타당성을 얼마나 향상시키는가?
• RQ3 단지 표면 텍스트에 의존하는 모델에 비해 텍스트와 지식 그래프에 대한 다중 소스 어텐션은 스토리 이해에 얼마나 기여하는가?
• RQ4 모델은 문법적으로 정확하고 맥락과 논리적으로 일관된 다수의 유력한 스토리 결말을 생성할 수 있는가?
• RQ5 자동 평가 및 인간 평가 지표에서 제안된 방법은 최신 기준(SOTA) 보다 어떻게 비교되는가?

주요 결과

• 제안된 모델은 자동 평가 및 수동 평가 모두에서 최신 기준(SOTA)을 능가하며, 더 유창하고 타당한 스토리 결말을 생성한다.
• 점진적 인코딩 메커니즘이 문장 간 변화하는 맥락 단서를 효과적으로 포착하여 더 나은 플롯 기획과 논리 일관성을 가능하게 한다.
• 다중 소스 어텐션을 통한 일반 지식 통합은 암묵적 또는 문화적 지식이 필요한 경우에도 유력한 결말을 유추하는 능력을 크게 향상시킨다.
• 시각화 결과 어텐션 메커니즘이 스토리의 핵심 사건과 엔티티를 관련 지식 그래프 노드에 성공적으로 연결하는 것으로 나타났다. 예를 들어 '저녁 식사'는 '먹기'와 연결되고, '오븐'은 '불이 붙다'와 연결된다.
• 모델는 Seq2Seq 및 HLSTM와 같은 기존 기준 모델에서 흔히 볼 수 있는 실수(엔티티 환영, 반복적 내용 등)를 피하고 더 자연스럽고 문법적으로 정확한 결말을 생성한다.
• 제거 실험 결과, 점진적 인코딩과 지식 통합이 성능 향상에 독립적으로 기여할 뿐 아니라 상호 보완적으로 작용하는 것으로 확인되었다.