[논문 리뷰] Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning

Amal Alabdulkarim, Winston Li외 2명|arXiv (Cornell University)|2021. 12. 16.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 지식 그래프 상태 표현과 정책 네트워크를 사용하여 GPT-2 기반 스토리 생성을 특정 목표 이벤트로 유도하는 강화학습 프레임워크를 제안한다. 생성과 제어를 분리함으로써 유창성을 유지하면서도 90% 이상의 목표 달성률을 달성하며, 인간 평가에서 피인계된 언어 모델과 베이스라인을 모두 능가한다.

ABSTRACT

The advent of large pre-trained generative language models has provided a common framework for AI story generation via sampling the model to create sequences that continue the story. However, sampling alone is insufficient for story generation. In particular, it is hard to direct a language model to create stories to reach a specific goal event. We present two automated techniques grounded in deep reinforcement learning and reward shaping to control the plot of computer-generated stories. The first utilizes proximal policy optimization to fine-tune an existing transformer-based language model to generate text continuations but also be goal-seeking. The second extracts a knowledge graph from the unfolding story, which is used by a policy network with graph attention to select a candidate continuation generated by a language model. We report on automated metrics pertaining to how often stories achieve a given goal event as well as human participant rankings of coherence and overall story quality compared to baselines and ablations.

연구 동기 및 목표

• GPT-2와 같은 대규모 사전 훈련된 언어 모델이 일반적으로 지정된 종료 상태에 도달하지 못하는 문제를 해결하기 위해, 스토리 생성에서 목표 지향성을 확보하는 것.
• 대규모 모델에서 보상 형태 조정 훈련의 한계를 극복하기 위해, 유창성은 향상되었지만 목표 달성률 뿐만 아니라 50%에 불과한 성과를 기록하는 것.
• 언어 모델의 훈련 없이도 목표 향한 행동을 유도할 수 있도록, 정책 네트워크가 개별 지식 그래프 상태 기반으로 계속 가능한 후보를 선택하는 이중 단계 시스템을 개발하는 것.
• 자동화된 메트릭과 인간 참가자 연구를 통해 목표 달성도, 일관성, 유창성의 성능을 평가하는 것.
• 지식 그래프 상태 표현이 스토리 생성에서 효과적인 강화학습을 위해 필수적임을 입증하는 것.

제안 방법

• 스토리 내용에서 동적으로 지식 그래프가 구성되며, 엔티티와 관계를 <주어, 관계, 목적어> 삼중항으로 표현하여 스토리 세계의 상태를 모델링한다.
• 지식 그래프 기반의 그래프 주의망(GAT) 정책 네트워크가 GPT-2의 후보 계속 가능한 문장들을 평가하며, 목표 향한 잠재적 진전도를 기반으로 하며, 목표까지 남은 단계 수의 역수 비례 보상 신호를 사용한다.
• 정책 네트워크를 훈련하기 위해 근접 정책 최적화(PPO)를 사용하여 목표 달성도를 최적화하면서 자연어 품질을 유지한다.
• DQN 기반 에이전트가 GPT-2가 생성한 후보 집합에서 스토리 계속 가능한 문장을 선택하며, 지식 그래프를 입력으로 사용하여 상태의 유용성을 추정한다.
• 언어 생성과 제어를 분리함으로써, GPT-2는 다양한 유창한 계속 가능한 문장을 생성하고, 정책 네트워크는 가장 목표 지향적인 후보를 선택한다.
• 정책 네트워크에 보상 형태 조정 메커니즘이 적용되며, 목표 이벤트까지의 추정 단계 수를 줄이는 후보일수록 보상이 높아진다.

실험 결과

연구 질문

• RQ1 강화학습이 GPT-2와 같은 대규모 사전 훈련된 언어 모델이 스토리 생성에서 특정 목표 이벤트로 유도하는 데 효과적으로 적용될 수 있는가?
• RQ2 언어 모델의 은닉 상태에 의존하는 것과 비교해 지식 그래프를 상태 표현으로 사용할 경우 목표 지향적 스토리 생성의 성능이 향상되는가?
• RQ3 지식 그래프 기반 정책 네트워크의 성능은 보상 형태 조정으로 언어 모델을 직접 훈련하는 것과 비교해 어떻게 되는가?
• RQ4 지식 그래프 표현이 인간 평가에서 스토리의 일관성과 목표 달성도에 얼마나 기여하는가?
• RQ5 언어 모델이 후보를 생성하고 정책이 이를 선택하는 이중 단계 시스템이 종단 간 훈련보다 더 높은 목표 성공률을 달성할 수 있는가?

주요 결과

• KG-DQN 모델은 지정된 목표 이벤트에 도달하는 데 90% 이상의 성공률을 기록했으며, 베이스라인 GPT2-Sci-Fi 및 GPT2-RS 모델을 크게 능가했다.
• 인간 참가자들은 모든 차원에서 KG-DQN 모델을 베이스라인 및 GPT2-RS 모델보다 유의미하게 선호했으며, 일관성, 반복 방지, 타당성, 국소적 인과관계(p < 0.01)에서 모두 유의미한 차이를 보였다.
• 지식 그래프를 제거한 DQN 아블레이션은 성능이 유의미하게 저하되었으며, 이는 지식 그래프가 효과적인 정책 학습을 가능하게 하는 핵심 요소임을 시사한다.
• 보상 형태 조정으로 훈련된 GPT2-RS 모델은 유창성은 향상되었지만 목표 달성률 뿐만 아니라 50%에 불과하여, 대규모 모델에 직접 훈련하는 것은 효과적이지 않음을 보여준다.
• KG-DQN 모델에 보상 형태 조정을 추가한 KG-DQN-RS는 반복 방지 성능만 향상되었으며, 목표 달성도나 일관성에는 영향을 주지 않았다. 이는 정책 네트워크의 그래프 기반 추론이 언어 모델 훈련보다 더 중요하다는 것을 시사한다.
• DQN 기반 모델이 생성한 스토리는 평균적으로 목표에 도달하기 위해 4~5개의 이벤트로 더 간결했으며, GPT2-RS는 더 길고 환각 경향이 높으며 무작위 캐릭터 도입이 많은 스토리를 생성했다.