[논문 리뷰] Can Machine Generate Traditional Chinese Poetry? A Feigenbaum Test

Qixin Wang, Tianyi Luo외 1명|arXiv (Cornell University)|2016. 06. 19.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 주제 키워드를 인코딩하고 생성 중에 이를 주의 집중시키는 주목적 기반 게이트형 순환 단위(GRU) 모델을 제안한다. 이 모델은 높은 주제 일관성과 유창성을 달성하며, 인간 전문가가 31%의 기계 생성 시를 인간이 쓴 것으로 잘못 판단할 정도로 약한 수준으로 피게나우 테스트를 통과하여, 많은 현대 시인들과 비교해도 뛰어난 성능을 보여준다.

ABSTRACT

Recent progress in neural learning demonstrated that machines can do well in regularized tasks, e.g., the game of Go. However, artistic activities such as poem generation are still widely regarded as human's special capability. In this paper, we demonstrate that a simple neural model can imitate human in some tasks of art generation. We particularly focus on traditional Chinese poetry, and show that machines can do as well as many contemporary poets and weakly pass the Feigenbaum Test, a variant of Turing test in professional domains. Our method is based on an attention-based recurrent neural network, which accepts a set of keywords as the theme and generates poems by looking at each keyword during the generation. A number of techniques are proposed to improve the model, including character vector initialization, attention to input and hybrid-style training. Compared to existing poetry generation methods, our model can generate much more theme-consistent and semantic-rich poems.

연구 동기 및 목표

• 기계가 인간 시인들과 비교해 수준이 높은 전통 중국 시를 생성할 수 있는지 조사하는 것.
• 신경망 시 생성에서 주제 일관성과 구조 규칙(음조, 리듬, 형식)을 유지하는 데 도전하는 것.
• 전문 예술가의 평가를 기반으로 한 도메인 전용 튜링 테스트—구체적으로 피게나우 테스트—를 사용해 기계 생성 시의 품질을 평가하는 것.
• 전반적인 주제를 유지하면서도 키워드 조절을 통해 창의적 변형을 가능하게 하는 단순하면서도 효과적인 신경망 아키텍처를 개발하는 것.

제안 방법

• 모델는 입력 키워드를 처리하고 문자 단위로 시를 생성하기 위해 게이트형 순환 단위(GRUs) 기반의 인코더-디코더 아키텍처를 사용한다.
• 생성 단계마다 관련 키워드에 동적으로 주목하는 주목적 기반 메커니즘이 도입되어 전체 시의 주제 일관성이 보장된다.
• 문자 벡터는 학습된 임bedding으로 초기화되어 의미 표현과 생성 품질을 향상시킨다.
• 하이브리드 스타일 학습은 인간이 쓴 시에 기반한 지도 학습과 적대적 학습을 결합하여 유창성과 자연스러움을 향상시킨다.
• 모델는 음조 패턴(Ping/Ze), 운율 체계, 줄 길이(다섯 글자 또는 칠 글자)와 같은 구조적 제약을 강제하여 고전 중국 시 규칙을 준수하도록 한다.
• 다양한 키워드 세트를 사용하여 생성된 시의 혁신성과 다양성을 장려하면서도 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 신경망이 전문가 평가에서 인간이 쓴 시와 구분되지 않는 전통 중국 시를 생성할 수 있는가?
• RQ2 기계 생성 시가 고전 중국 시 규칙에 따라 주제 일관성과 구조적 준수를 어느 정도 유지할 수 있는가?
• RQ3 기본 모델 대비 주목적 기반 메커니즘이 주제 일관성과 의미의 풍부함을 얼마나 뚜렷하게 향상시키는가?
• RQ4 기계 생성 시가 30% 이상의 인간 전문가를 속여 인간이 쓴 것으로 오인하게 만들 수 있는가? 이는 피게나우 테스트의 약한 통과 기준으로 정의된다.
• RQ5 평균 점수와 최상위 등급 점수 측면에서 기계 생성 시의 품질은 인간 시인들과 비교해 어떠한가?

주요 결과

• 전문가가 기계 생성 시를 인간이 쓴 것으로 잘못 판단한 비율은 31%였으며, 이는 피게나우 테스트를 약한 수준으로 통과한 것으로, 성공 기준인 30% 초과를 충족한다.
• 기계 생성 시의 61.9%가 5점 만점에 3점 이상의 품질 점수를 받았으며, 인간 시의 75.6%보다 약간 낮은 평균 수준이지만 강력한 성능을 보였다.
• 상위 10개의 높은 평가를 받은 시 중에서 기계는 1위와 2위를 차지했고, 7위도 확보하여 많은 인간의 노력보다 뛰어난 시를 생성할 수 있음을 보여주었다.
• 전문가들은 주로 유창성과 미적 품질을 기준으로 인간과 기계 생성 시를 구분했으며, 특히 미적 인식이 오인 판단의 핵심 요소로 작용했다.
• 정성적 및 정량적 평가를 통해 주목적 기반 메커니즘과 키워드 조절이 주제 일관성과 의미의 풍부함에서 이전 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 주목적 기반 메커니즘과 키워드 조절은 주제 일관성을 유지하는 데 핵심적인 역할을 했으며, 전문가들은 특히 자연스럽고 미적으로 매력적인 시일수록 인간이 쓴 것으로 잘못 판단할 가능성이 높다고 지적했다.