[논문 리뷰] Counterfactual Story Reasoning and Generation

Lianhui Qin, Antoine Bosselut외 4명|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 주어진 반사적 사건과 일관되게 유지하기 위해 스토리를 최소한으로 수정해야 하는 새로운 작업인 반사적 스토리 재작성(Counterfactual Story Rewriting)을 소개한다. 저자들은 인간이 검수한 29,849개의 반사적 수정을 포함한 TimeTravel 데이터셋을 제시하고, 최신 언어 모델이 인과적 일관성에서 어려움을 겪음을 입증하며 신경망 생성 모델의 향상된 추론 능력이 필요하다고 강조한다.

ABSTRACT

Counterfactual reasoning requires predicting how alternative events, contrary to what actually happened, might have resulted in different outcomes. Despite being considered a necessary component of AI-complete systems, few resources have been developed for evaluating counterfactual reasoning in narratives. In this paper, we propose Counterfactual Story Rewriting: given an original story and an intervening counterfactual event, the task is to minimally revise the story to make it compatible with the given counterfactual event. Solving this task will require deep understanding of causal narrative chains and counterfactual invariance, and integration of such story reasoning capabilities into conditional language generation models. We present TimeTravel, a new dataset of 29,849 counterfactual rewritings, each with the original story, a counterfactual event, and human-generated revision of the original story compatible with the counterfactual event. Additionally, we include 80,115 counterfactual "branches" without a rewritten storyline to support future work on semi- or un-supervised approaches to counterfactual story rewriting. Finally, we evaluate the counterfactual rewriting capacities of several competitive baselines based on pretrained language models, and assess whether common overlap and model-based automatic metrics for text generation correlate well with human scores for counterfactual rewriting.

연구 동기 및 목표

• 스토리 이해 및 생성 분야에서 반사적 서사 추론에 초점을 맞춘 벤치마크 부족 문제를 해결한다.
• 반사적 사건이 제시되었을 때 스토리를 최소한의 수정으로 인과적으로 일관되게 수정해야 하는 작업을 개발한다.
• 반사적 스토리 재작성 및 추론 연구를 지원하기 위해 대규모이고 인간이 검수한 데이터셋을 구축한다.
• 사전 훈련된 언어 모델의 이 새로운 작업에서의 성능을 제로샷, 비지도, 지도 학습 설정에서 평가한다.
• 반사적 재작성 품질에 대한 자동 메트릭과 인간 평가 간의 상관관계를 평가한다.

제안 방법

• 반사적 스토리 재작성 작업을 제안: 주어진 반사적 사건과 일관되게 유지하면서 최소한의 수정으로 스토리를 재작성한다.
• ROCStories 코퍼스의 스토리에서 유저들이 제출한 29,849개의 반사적 수정을 수집하여 TimeTravel 데이터셋을 구축한다.
• 반사적 분기 80,115개를 추가로 포함하여 반지도 또는 약한 지도 학습을 지원한다.
• 이 작업에서 GPT 및 GPT-2 모델의 다양한 변형을 제로샷, 비지도, 지도 학습 설정에서 훈련 및 평가한다.
• 생성 품질 평가를 위해 BERTScore, WMS 및 기타 모델 기반 메트릭을 사용하여 인간 검수 결과와 비교한다.
• 검증 예제 800개에 대해 자동 메트릭 점수와 인간 평가 간 피어슨 상관관계를 계산하여 메트릭의 신뢰성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 최소한의 수정으로 반사적 일관성을 유지하는 스토리 재작성 결과를 생성할 수 있는가?
• RQ2 표준 자동 메트릭(BLEU, ROUGE, WMS, BERTScore)은 반사적 재작성 품질에 대한 인간 평가와 얼마나 상관이 있는가?
• RQ3 사전 품질 평가 기준(전제 준수, 플롯 일관성, 반사적 조건 일치)에서 인간 검수 품질을 가장 잘 반영하는 자동 메트릭은 무엇인가?
• RQ4 현재 모델들이 반사적 재작성에서 인과적 추론을 수행하는지, 아니면 표면적 패tern 기반 생성에 의존하는지 어느 정도인가?
• RQ5 데이터셋에 쌍이 없는 반사적 분기를 포함함으로써 향후 반지도 또는 자기지도 학습 접근법이 어떻게 지원될 수 있는가?

주요 결과

• GPT 및 GPT-2 변형을 포함한 최신 언어 모델들은 반사적 일관성을 유지하는 데 어려움을 겪으며, 종종 인과적 일관성을 유지하지 못한다.
• BLEU 및 ROUGE와 같은 일반적인 자동 메트릭은 인간 평가와 상관관계가 낮으며, 특히 반사적 조건 준수에 대해 부정적인 상관관계를 보일 수 있다.
• BERTScore는 반사적 이해에 대해 인간 점수와 가장 강한 양의 상관관계를 보이지만, 여전히 상관관계가 약하며 메트릭이 모델 성능을 효과적으로 구분하지 못한다.
• 결과는 현재 모델들이 깊은 인과적 추론보다 표면적 패턴에 의존하고 있음을 시사하며, 이는 추론 능력에 근본적인 격차가 있음을 의미한다.
• TimeTravel 데이터셋은 반사적 스토리 생성을 위한 반지도 또는 약한 지도 학습 연구 방향을 가능하게 한다.
• 최소한의 수정은 인과적 불변성 유지를 위해 필수적이며, 모델들은 종종 의존적 사건을 수정하면서도 불변 요소를 유지하지 못한다.