[논문 리뷰] NGEP: A Graph-based Event Planning Framework for Story Generation

Chen Tang, Zhihao Zhang외 3명|arXiv (Cornell University)|2022. 10. 19.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 이벤트 그래프를 사용한 구조적 추론과 BART 기반 신경 지도자(neural advisor)를 통한 제어 가능성 향상 및 환각 현상 감소를 위한 새로운 그래프 기반 이벤트 계획 프레임워크인 NGEP를 제안한다. 그래프 기반 추론과 신경 지도자 지도를 결합함으로써 NGEP는 이벤트 순서 품질과 후행 스토리 생성 측면에서 기존 최고 성능(SOTA) 방법들을 능가하며, 더 높은 일관성과 반복 감소를 달성한다.

ABSTRACT

To improve the performance of long text generation, recent studies have leveraged automatically planned event structures (i.e. storylines) to guide story generation. Such prior works mostly employ end-to-end neural generation models to predict event sequences for a story. However, such generation models struggle to guarantee the narrative coherence of separate events due to the hallucination problem, and additionally the generated event sequences are often hard to control due to the end-to-end nature of the models. To address these challenges, we propose NGEP, an novel event planning framework which generates an event sequence by performing inference on an automatically constructed event graph and enhances generalisation ability through a neural event advisor. We conduct a range of experiments on multiple criteria, and the results demonstrate that our graph-based neural framework outperforms the state-of-the-art (SOTA) event planning approaches, considering both the performance of event sequence generation and the effectiveness on the downstream task of story generation.

연구 동기 및 목표

• 엔드 투 엔드 신경 이벤트 계획 모델의 한계를 해결하기 위해, 장기 스토리 생성에서 제어 불능성과 환각 현상이 악영향을 미치는 문제를 해결한다.
• 학습 데이터에서 유래한 구조적 이벤트 관계를 활용하여 생성된 스토리의 서사 일관성과 다양성을 향상시킨다.
• 순수 신경 생성을 그래프 기반 추론으로 대체하고 신경 지도자를 보완으로써 이벤트 계획의 해석 가능성과 일반화 능력을 향상시킨다.
• 이벤트 그래프를 기반으로 한 지식 기반 이벤트 선택을 통해 반복을 줄이고 이벤트 순서의 논리적 일관성을 향상시킨다.
• 하이브리드 그래프-신경 계획 방식이 기존 SOTA 신경 전용 접근 방식보다 후행 스토리 생성 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• spaCy 의존성 파싱을 사용하여 훈련 데이터에서 동사구 이벤트와 그들 간의 유도 관계(예: 이전/다음 이벤트)를 추출함으로써 이벤트 그래프 G 를 구성한다.
• 노드의 차수와 동시성 점수를 사용하여 조건부 확률을 모델링하여 이벤트 후보의 의미적 일관성 있는 전이를 우선순위로 정렬한다.
• 유효한 그래프 전이가 존재하지 않을 경우 다음 이벤트를 예측하기 위해 BART 기반 신경 지도자를 활용함으로써 희귀 또는 미사용된 이벤트 패턴의 커버리지 보장을 확보한다.
• 이벤트 그래프와 신경 지도자를 두 단계 추론 과정에 통합한다: 그래프 기반 후보 선택 → 희귀 또는 OOV(Out-of-Vocabulary) 이벤트에 대한 신경 지도자 후속 조치.
• 훈련 및 추론 중 이벤트와 순서를 표현하기 위해 특수 토큰 형식(예: ¡s¿, ¡sep¿, ¡e¿)을 사용한다.
• 입력 컨텍스트와 이전에 예측된 이벤트를 조건으로 하여 개별 이벤트를 예측하도록 신경 지도자를 훈련시켜 전체 시퀀스 생성에 대한 제어 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경 모델 대비 그래프 기반 추론 메커니즘이 스토리 생성에서 이벤트 순서의 논리적 일관성과 다양성 향상에 기여하는가?
• RQ2 이벤트 그래프가 유효한 전이를 제공하지 못할 경우 신경 지도자의 통합이 이벤트 계획의 일반화 능력과 제어 가능성에 어떤 영향을 미치는가?
• RQ3 SOTA 신경 이벤트 계획 방법 대비 NGEP 는 환각 현상과 반복을 어느 정도 감소시키는가?
• RQ4 이벤트 그래프를 통한 지식 기반 설계는 순수 신경 접근 방식에 비해 더 해석 가능하고 사실적인 이벤트 예측을 가능하게 하는가?
• RQ5 다양한 스토리 생성 벤치마크에서 NGEP 는 이벤트 순서 품질과 스토리 일관성 측면에서 기존 성능 대비 어떤 성능을 보이는가?

주요 결과

• NGEP 는 이벤트 순서 생성에 대해 ROUGE 와 BLEU 지표에서 모든 SOTA 기준선을 압도적으로 뛰어넘어 인간이 작성한 이벤트 계획과 유사도가 높음을 시사한다.
• 모델은 내부 스토리 반복률이 낮고 반복 집합 점수(IR-A)가 더 안정적이므로 생성된 스토리의 다양성 향상과 중복 감소를 입증한다.
• 신경 지도자 구성 요소는 희귀 또는 새로운 이벤트에 대한 강건성을 향상시켰으며, 이벤트 지도자(EventAdvisor)라는 NGEP 의 변종이 일부 지표에서 NGEP 를 능가함으로써 그래프 외 이벤트를 더 잘 처리한다는 점에서 성능 향상을 입증한다.
• 사례 연구를 통해 NGEP 의 예측이 훈련 데이터 패턴에 기반함을 확인할 수 있었다. 예를 들어, 'had test' 이후에 'people studied hard to prepare for this test' 를 높은 확률로 예측함으로써 환각이 아닌 지식 기반 추론을 수행함을 보여준다.
• 그래프 기반 추론 메커니즘은 더 해석 가능한 이벤트 계획을 가능하게 하였으며, 모델의 결정이 노드의 차수와 전이 확률을 통해 추적 가능하다.
• NGEP 는 후행 스토리 생성 작업에서 최고 성능을 기록하였으며, 더 나은 이벤트 계획이 더 높은 품질과 더 나은 일관성을 갖춘 스토리 생성으로 이어진다는 점을 확인한다.