[논문 리뷰] Introducing Aspects of Creativity in Automatic Poetry Generation

Brendan Bena, Jugal Kalita|arXiv (Cornell University)|2020. 02. 06.

Topic Modeling참고 문헌 33인용 수 9

한 줄 요약

이 논문은 감정 유도어법과 꿈의 시를 통합하여 창의성을 구현하는 최적화된 GPT-2 모델을 소개한다. 이 모델은 슬픔을 유도하는 데 87.5%, 기쁨을 유도하는 데 85%의 성공률을 기록했으며, Likert 척도에서 꿈같은 시적 특성에 대해 최소 3.2점의 점수를 기록했다. 이는 인류 평가 및 Coh-Metrix 메트릭스를 통해 검증되었다.

ABSTRACT

Poetry Generation involves teaching systems to automatically generate text that resembles poetic work. A deep learning system can learn to generate poetry on its own by training on a corpus of poems and modeling the particular style of language. In this paper, we propose taking an approach that fine-tunes GPT-2, a pre-trained language model, to our downstream task of poetry generation. We extend prior work on poetry generation by introducing creative elements. Specifically, we generate poems that express emotion and elicit the same in readers, and poems that use the language of dreams---called dream poetry. We are able to produce poems that correctly elicit the emotions of sadness and joy 87.5 and 85 percent, respectively, of the time. We produce dreamlike poetry by training on a corpus of texts that describe dreams. Poems from this model are shown to capture elements of dream poetry with scores of no less than 3.2 on the Likert scale. We perform crowdsourced human-evaluation for all our poems. We also make use of the Coh-Metrix tool, outlining metrics we use to gauge the quality of text generated.

연구 동기 및 목표

• 감정적으로 공명하는 창의적인 표현을 가진 시를 생성하는 신경망 기반의 시 생성 시스템을 개발하는 것.
• 감정 유도어법과 꿈의 시를 별개의 창의적 차원으로 통합하여 자동 시 생성을 확장하는 것.
• 인간 평가 및 자동 메트릭스를 통해 생성된 시의 감정적 영향력과 꿈같은 품질을 평가하는 것.
• 단어 수준의 감정 어휘집과 전이 학습을 활용하여 감정 인식 텍스트 생성의 기준을 설정하는 것.
• 단일 감정 모델을 넘어서 다감정 및 강도 인식 기반의 시 생성을 확장하는 것.

제안 방법

• 감정 유도어법을 위한 단어 수준의 감정 어휘집에서 유도된 감정 특화 코퍼스를 기반으로 GPT-2를 미세조정하여 특정 감정을 유도하는 시를 생성하는 것.
• 꿈의 서사 및 꿈의 묘사를 별도의 GPT-2 모델에 훈련시켜 초현실적이고 상상력 넘치는 언어를 가진 꿈의 시를 생성하는 것.
• 최소한의 데이터로 사전 훈련된 GPT-2 아키텍처를 후행 시 생성 작업에 적응시키기 위해 전이 학습을 활용하는 것.
• 인간 평가자를 통해 생성된 시의 감정적 영향력과 꿈같은 품질을 평가하는 것.
• Coh-Metrix 툴킷을 활용해 생성된 텍스트의 독해 용이성, 구체성, 시각적 상상 가능성, 문법적 단순성 등을 측정하는 것.
• Flesch-Kincaid 및 Flesch 독해 용이도 점수를 사용하여 생성된 시가 매우 독해 용이하고 접근 가능함을 보장하는 것.

실험 결과

연구 질문

• RQ1 최적화된 GPT-2는 독자에게 슬픔과 기쁨과 같은 특정 감정을 안정적으로 유도할 수 있는가?
• RQ2 언어적 및 구조적 특징이 꿈의 시와 유사한 언어 모델이 얼마나 꿈의 시를 효과적으로 생성할 수 있는가?
• RQ3 Coh-Metrix와 같은 자동 메트릭스는 인간의 시적 품질 및 감정적 영향력에 대한 인식과 얼마나 상관이 있는가?
• RQ4 단어 수준의 감정 어휘집은 제로샷 또는 소량 샘플 설정에서 감정적으로 일관된 시를 효과적으로 이끌 수 있는가?
• RQ5 단일 감정 모델을 넘어서 다감정 및 강도 인식 기반의 시 생성은 어떻게 확장될 수 있는가?

주요 결과

• 감정 중심 모델은 인간 평가에서 87.5%의 경우 슬픔을, 85%의 경우 기쁨을 효과적으로 유도하여 강력한 감정 일치를 보였다.
• 꿈의 시 모델은 꿈같은 특성에 대해 Likert 척도에서 최소 3.2점의 점수를 기록하여 꿈의 시 특성에 뚜렷한 부합을 보였다.
• 생성된 시는 Flesch 독해 용이도(FRE) 점수가 93 이상, Flesch-Kincaid 학년 수준(FKGL)이 2 이하로 나타나 독해 용이성과 접근 가능성의 높음을 확인했다.
• 생성된 시의 내용어는 특히 꿈의 시가 아닌 모델에서 높은 이미지성(IMGc)과 구체성(CNCc) 점수를 보였으며, 강한 감각적 몰입을 나타냈다.
• 꿈의 시 모델는 꿈의 언어의 추상성 때문에 구체성 점수가 낮게 나타났으며, 이는 언어학적 기대와 부합한다.
• 문법적 단순성(PCSYNp) 및 서사성(PCNARp) 점수는 높아 시가 문법적으로 단순하고 서사적 구조를 띠고 있음을 시사하며, 독해 용이성과 흐름을 향상시켰다.