[논문 리뷰] LSTM vs. GRU vs. Bidirectional RNN for script generation

Sanidhya Mangal, Poorva Joshi외 1명|arXiv (Cornell University)|2019. 08. 12.

Natural Language Processing Techniques참고 문헌 17인용 수 33

한 줄 요약

이 논문은 LSTM, GRU, 및 양방향 RNN 모델을 비교하여 이전 대화를 기반으로 새로운 문자 수준 스크립트를 생성하고, 성능과 효율성을 분석한다.

ABSTRACT

Scripts are an important part of any TV series. They narrate movements, actions and expressions of characters. In this paper, a case study is presented on how different sequence to sequence deep learning models perform in the task of generating new conversations between characters as well as new scenarios on the basis of a script (previous conversations). A comprehensive comparison between these models, namely, LSTM, GRU and Bidirectional RNN is presented. All the models are designed to learn the sequence of recurring characters from the input sequence. Each input sequence will contain, say "n" characters, and the corresponding targets will contain the same number of characters, except, they will be shifted one character to the right. In this manner, input and output sequences are generated and used to train the models. A closer analysis of explored models performance and efficiency is delineated with the help of graph plots and generated texts by taking some input string. These graphs describe both, intraneural performance and interneural model performance for each model.

연구 동기 및 목표

• 다양한 시퀀스-투-시퀀스 모델이 스크립트 생성 작업을 어떻게 다루는지 탐구하여 연구를 동기화한다.
• LSTM, GRU, 및 양방향 RNN이 입력 데이터에서 반복되는 문자 시퀀스를 학습하는 능력을 조사한다.
• 모델 성능과 생성된 출력에 대한 포괄적이며 질적이고 시각적인 비교를 제공한다.

제안 방법

• 입력 시퀀스와 대상 시퀀스가 시프트된 문자 시퀀스로 구성된 시퀀스-투-시퀀스 모델링을 사용한다.
• 같은 스크립트 기반 데이터에 대해 LSTM, GRU, 및 양방향 RNN 모델을 학습시켜 반복되는 문자 패턴을 학습한다.
• 그래프 기반 분석을 통한 내부 및 신경 간 성능 평가와 생성 텍스트 샘플을 살펴봄으로써 모델을 평가한다.
• 생성된 출력물과 도표로 모델 간 효율성과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 주어진 데이터에서 LSTM, GRU, 및 양방향 RNN 중 문자 수준 스크립트 생성 품질이 더 우수한 모델은 어느 것인가?
• RQ2 학습 중 반복 문자 시퀀스를 학습할 때 교육/추론의 효율성과 내부 표현 측면에서 모델들은 어떻게 비교되는가?
• RQ3 생성된 텍스트는 각 모델이 스크립트 스타일의 대화와 상황을 포착하는 능력에 대해 무엇을 보여주는가?

주요 결과

• 논문은 스크립트 생성을 위한 LSTM, GRU, 및 양방향 RNN의 포괄적 비교를 제시한다.
• 성능 및 효율성은 각 모델의 내부 및 신경간 측면을 설명하는 그래프로 분석된다.
• 생성된 텍스트는 입력에 따른 모델의 동작을 보여주며 출력의 질적 차이를 강조한다.