[논문 리뷰] Shall I Compare Thee to a Machine-Written Sonnet? An Approach to Algorithmic Sonnet Generation

John Benhart, Peter Hase외 2명|arXiv (Cornell University)|2018. 11. 13.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 정확한 운율, 운동, 문법적 구조를 갖춘 셰익스피어의 속시를 생성하기 위해 신경망과 규칙 기반 접근 방식을 융합한 방법을 제시한다. 문장 내 구두점, 품사 제약 조건, 정제된 훈련 코퍼스를 통합함으로써, 인간이 쓴 시 수준의 고품질의 문학적 작품을 생성하였으며, 이는 2018년 PoetiX 문학 터닝 테스트에서 우수한 성과를 거두었으며, 이전 시스템에 비해 형식적 정확성과 시적 통일성에서 뛰어난 성능을 보였다.

ABSTRACT

We provide an approach for generating beautiful poetry. Our sonnet-generation algorithm includes several novel elements that improve over the state of the art, leading to metrical, rhyming poetry with many human-like qualities. These novel elements include in-line punctuation, part of speech restrictions, and more appropriate training corpora. Our work is the winner of the 2018 PoetiX Literary Turing Test Award for computer-generated poetry.

연구 동기 및 목표

• 셰익스피어의 속시 형식에 엄격히 부합하는, 이ambic pentameter와 ABABCDCDEFEFGG 운율 체계를 준수하는 시를 생성할 수 있는 시스템을 개발하는 것.
• 운동, 운율, 품사 사용에 대한 하드 제약 조건을 통합하여 기존의 신경망 기반 시 생성 방법을 향상시키는 것.
• 구두점, 문법적 정확성, 스타일적 통일성과 같은 인간이 쓴 시의 특성을 갖춘 시를 생성하는 것.
• 전문가 인간 평가자를 통해 터닝 테스트 환경에서 생성된 시의 품질을 평가하는 것.
• 신경망 언어 모델과 도메인 전문 규칙을 융합하면 순수 통계적 접근 방식보다 더 어휘적이고 문학적으로 정확한 결과를 도출할 수 있음을 보여주는 것.

제안 방법

• 정제된 셰익스피어의 속시 코퍼스로 훈련된 신경망 언어 모델을 사용하여 높은 가능도를 갖는 문장을 생성한다.
• 빔 서치를 적용하여 모델의 가능도를 극대화하면서도 운동과 운율에 대한 하드 제약 조건을 만족하는 문장을 선택한다.
• CMU Pronouncing Dictionary를 활용하여 각 단어에 스트레스 패턴(비강조 음절은 0, 강조 음절은 1로 표기)을 할당함으로써 이ambic pentameter를 강제 적용한다.
• 이어지는 명사나 비교형 형용사와 동사 조합과 같은 문법적으로 잘못된 어구를 방지하기 위해 품사 기반 샘플링 제약 조건을 적용한다.
• 문장 내 구두점을 명시적으로 모델링하고 생성하여 문법적 명료성과 시적 리듬을 향상시킨다.
• 사용자 프롬프트의 GloVe 임베딩과 사전에 계산된 운율 쌍 간의 코사인 유사도를 기반으로 운율 단어를 선택함으로써 주제적 일관성과 청각적 유사성을 확보한다.

실험 결과

연구 질문

• RQ1 하이브리드 신경망 및 규칙 기반 시스템은 이ambic pentameter와 ABABCDCDEFEFGG 운율 체계를 엄격히 준수하는 셰익스피어의 속시를 생성할 수 있는가?
• RQ2 품사 제약 조건과 문장 내 구두점은 알고리즘적으로 생성된 시의 문법적 정확성과 스타일적 품질에 어떤 영향을 미치는가?
• RQ3 일반 목적 텍스트에 비해 정제된 훈련 코퍼스를 사용할 경우, 생성된 속시의 스타일적 유사도는 어느 정도 향상되는가?
• RQ4 기계로 생성된 속시가 인간 평가자들이 참가하는 문학 경연 대회인 PoetiX 문학 터닝 테스트에서 충분한 수준의 품질을 확보할 수 있는가?
• RQ5 운동과 운율에 대한 하드 제약 조건은 소프트 제약 조건에 비해 문학적 정확성과 인간의 인식에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이ambic pentameter와 ABABCDCDEFEFGG 운율 체계를 일관되게 준수하는 속시를 생성하였으며, 운동 오류나 운율 오류가 전혀 발생하지 않았다.
• 품사 제약 조건은 이전 시스템에서 나타났던 'human beings procreation'(인간의 번식)이나 'greater be'(더 큰 것임)와 같은 문법적으로 잘못된 어구를 효과적으로 제거하였다.
• 문장 내 구두점을 포함시킴으로써, 이러한 기능을 생략한 시스템에 비해 문법적 명료성과 시적 유창성이 뚜렷이 향상되었다.
• 2018년 PoetiX 문학 터닝 테스트에서 이전 최고 성능 시스템을 능가하여 1등을 차지하였으며, 전문 평가자들이 정확히 기계 생성임을 식별한 상황에서도 승리하였다.
• 시 분석에 숙련된 인간 평가자들은 모든 기계 생성 시를 인간의 시와 구별할 수 있었지만, 여전히 이 시스템이 최고의 상을 수상하게 하였으며, 이는 높은 수준의 시적 품질 인식을 반영한다.
• 하드 제약 조건과 정제된 훈련 데이터를 사용한 이 방법은 소프트 제약 조건에 의존하거나 관련성이 낮은 코퍼스를 사용하는 시스템에 비해 더 높은 라인 가능도와 더 높은 형식적 정밀도를 달성하였다.