[논문 리뷰] Deep-speare: A Joint Neural Model of Poetic Language, Meter and Rhyme

Jey Han Lau, Trevor Cohn외 3명|arXiv (Cornell University)|2018. 07. 10.

Music and Audio Processing참고 문헌 31인용 수 4

한 줄 요약

이 논문은 샤킬스피어의 소네트에서 시적 언어, 운율, 빗소리를 함께 생성하는 통합 아키텍처를 사용하는 공동 신경망 모델인 Deep-speare를 제안한다. 운율과 운율에서 뛰어난 성능을 보이며 인간이 쓴 시와 거의 구분되지 않지만, 전문가 평가 결과 기계가 생성한 시는 난이도와 감정적 영향력 측면에서 여전히 떨어지며, 향후 연구는 형식적 제약을 넘어서 시적 내용의 질을 우선시해야 한다는 점을 시사한다.

ABSTRACT

In this paper, we propose a joint architecture that captures language, rhyme and meter for sonnet modelling. We assess the quality of generated poems using crowd and expert judgements. The stress and rhyme models perform very well, as generated poems are largely indistinguishable from human-written poems. Expert evaluation, however, reveals that a vanilla language model captures meter implicitly, and that machine-generated poems still underperform in terms of readability and emotion. Our research shows the importance expert evaluation for poetry generation, and that future research should look beyond rhyme/meter and focus on poetic language.

연구 동기 및 목표

• 소네트 생성을 위해 시적 언어, 운율, 빗소리를 동시에 포착하는 공동 신경망 모델을 개발한다.
• 군중 및 전문가 평가를 활용하여 생성된 시의 품질을 평가한다.
• 운율과 빗소리를 명시적으로 모델링함으로써 일반 언어 모델이 달성할 수 있는 수준을 초월해 시적 품질을 향상시킬 수 있는지 조사한다.
• 형식 중심의 모델이 생성된 시의 난이도와 감정 깊이에 악영향을 미치는지 평가한다.
• 재현 가능성을 위해 새로운 소네트 데이터셋과 전체 소스 코드를 공개한다.

제안 방법

• 스트레스(운율) 및 빗소리 예측을 위한 별도 모듈과 언어 모델을 결합한 공동 아키텍처를 제안한다.
• Project Gutenberg에서 추출한 새로운 소네트 코퍼스를 사용하여 구조적 및 어휘적 제약 조건을 적용해 모델을 종합적으로 훈련시킨다.
• 문자 수준의 언어 모델에 주목력 메커니즘을 적용하여 지정된 스트레스 및 빗소리 패턴을 가진 줄을 생성한다.
• 생성 과정에서 정확한 이암빅 펜타메터와 ABAB/CDCD/EFEF/GG 빗소리 체계를 강제하는 공동 최적화 목표를 사용한다.
• 언어 모델링 능력을 향상시키기 위해 배경 시 코퍼스에서 사전 훈련된 단어 임베딩을 활용한다.
• 다단계 생성 과정을 적용한다: 먼저 강조 음절을 예측하고, 그 다음 빗소리 단어 쌍을 생성한 후, 마지막으로 의미적으로 통일된 전체 줄을 구성한다.

실험 결과

연구 질문

• RQ1 공동 신경망 모델은 정확한 이암빅 펜타메터와 빗소리 체계를 유지하면서도 시적 일관성을 유지할 수 있는가?
• RQ2 군중 평가자들은 기계가 생성한 소네트의 인간다움을 어떻게 평가하며, 어떤 특징(예: 빗소리, 운율)을 기준으로 삼는가?
• RQ3 전문가 평가가 군중 평가에서 놓친 기계 생성 시의 한계를 어느 정도 드러내는가?
• RQ4 운율과 빗소리를 명시적으로 모델링함으로써 일반 언어 모델에 비해 시적 품질이 크게 향상되는가?
• RQ5 운율과 빗소리와 같은 형식적 제약에 집중함으로써 난이도와 감정 깊이가 악영향을 받는가?

주요 결과

• 스트레스 및 빗소리 모델은 매우 뛰어난 성능을 보였으며, 군중 평가자들이 생성된 4행시를 인간이 쓴 시와 거의 구분하지 못했다.
• 전체 모델(LM∗∗+PM+RM)을 사용할 때 군중 평가자가 인간이 쓴 시를 식별하는 데 정확도가 53.2%에 달해, 형식과 스타일 면에서 높은 인간다움을 보였다.
• 전문가 평가 결과 전체 모델은 빗소리에 대해 4.43/5.0, 운율에 대해 4.10/5.0을 기록했으며, 인간 시인보다 略히 높은 수준의 정확도를 보여 형식적 정확도가 뛰어나다는 것을 입증했다.
• 강력한 형식 준수에도 불구하고 전체 모델은 난이도에 대해 2.70/5.0, 감정에 대해 2.90/5.0을 기록했으며, 인간 시의 평균(4.80 및 4.37)에 비해 유의미하게 낮았다.
• 일반 언어 모델(LM)은 운율에 대해 4.00/5.0을 기록해, 전용 운율 모듈 없이도 이암빅 펜타메터를 암묵적으로 학습하고 있음을 시사하며, 전용 운율 모듈의 필요성을 의심스럽게 한다.
• 운율 모듈이 없는 모델(LM∗∗+RM)도 군중 평가자 정확도가 동일하게 0.532를 기록해, 일반인 평가에서 빗소리가 주요 판단 기준이 되며, 운율은 대부분 간과된다는 점을 시사한다.