[논문 리뷰] Generating Thematic Chinese Poetry with Conditional Variational Autoencoder.

Xiaopeng Yang, Xiaowen Lin외 2명|arXiv (Cornell University)|2017. 11. 21.

Topic Modeling참고 문헌 22인용 수 14

한 줄 요약

이 논문은 주제 정보를 명시적으로 모델링하기 위해 확장된 word2vec 아키텍처를 갖춘 조건부 변분 오토인코더를 제안하여 주제적으로 일관된 중국 시를 생성한다. 키워드 유도 잠재 표현과 새로운 RHYTHM 점수 지표를 통합함으로써 주제 관련성과 구조적 일관성이 향상되어, 생성된 시 중 45.24%가 인간 평가자에 의해 인간이 쓴 작품과 구분되지 않는다고 평가받았다.

ABSTRACT

Computer poetry generation is our first step towards computer writing. Writing must have a theme. The current approaches of using sequence-to-sequence models with attention often produce non-thematic poems. We present a conditional variational autoencoder with augmented word2vec architecture that explicitly represents the topic or theme information. This approach significantly improves the relevance of the generated poems by representing each line of the poem not only in a context-sensitive manner but also in a holistic way that is highly related to the given keyword and the learned topic. The proposed augmented word2vec model further improves the rhythm and symmetry. We also present a straightforward evaluation metric RHYTHM score to automatically measure the rule-consistency of generated poems. Tests show that 45.24% generated poems by our model are judged by humans to be written by real people.

연구 동기 및 목표

• 기존의 순차적-순차적 모델이 중국 시 생성에서 주제 일관성이 부족한 문제를 해결하기 위해.
• 조건부 잠재 변수를 통해 주제 또는 주제 정보를 명시적으로 모델링하여 작품의 관련성을 향상시키기 위해.
• 새로운 RHYTHM 점수 지표를 활용해 생성된 시의 리듬과 구조적 일관성을 향상시키기 위해.
• 입력 키워드에 대한 전체 주제 일치와 맥락 민감한 줄 생성 간의 균형을 이루는 방법을 개발하기 위해.
• 자동 평가 지표와 인간 평가를 병행하여 시적 진정성에 중점을 두고 모델 성능을 평가하기 위해.

제안 방법

• 주제 키워드를 기반으로 한 문장의 공동 분포를 모델링하기 위해 조건부 변분 오토인코더(CVAE)를 사용한다.
• 중국어 문자의 의미적 의미와 리듬/구문적 제약 조건을 모두 인코딩하는 확장된 word2vec 아키텍처를 통합한다.
• 각 줄이 주어진 키워드에 조건화된 주제 인식 잠재 공간을 통해 주제 일관성이 전체 시에 걸쳐 보장되도록 한다.
• 음운 패턴, 어조 균형, 구조 대칭성에서의 규칙 준수 정도를 평가하기 위해 RHYTHM 점수 지표를 적용한다.
• 재구성 손실과 KL 발산 정규화를 통해 종합적으로 의미적 일관성과 리듬적 정확성을 유지하면서 모델을 종합적으로 훈련한다.
• 입력 키워드에 조건화된 학습된 잠재 공간에서 샘플링한 후 언어 모델을 통해 디코딩함으로써 시를 생성한다.

실험 결과

연구 질문

• RQ1 키워드 유도 조건부 변분 오토인코더가 주제적으로 일관된 중국 시를 효과적으로 생성할 수 있는가?
• RQ2 확장된 word2vec 아키텍처가 생성된 시의 리듬과 구조적 일관성에 어떻게 기여하는가?
• RQ3 RHYTHM 점수 지표가 인간의 시적 품질 및 규칙 준수 인식과 어느 정도 상관관계를 가지는가?
• RQ4 기본 모델인 순차적-순차적 모델 대비 주제 관련성과 인간 평가 측면에서 모델 성능은 어떻게 비교되는가?
• RQ5 인간 평가에 기반해 생성된 시 중 얼마나 많은 비율이 인간이 쓴 시와 구분되지 않는다고 평가되는가?

주요 결과

• 제안된 모델은 45.24%의 인간 평가율을 달성하여, 생성된 시 중 45% 이상이 인간 평가자에게 진정성 있는 것으로 인식됨을 시사한다.
• 주제 인식 잠재 변수의 통합은 표준 순차적-순차적 모델 대비 주제 관련성 향상에 뚜렷한 기여를 한다.
• RHYTHM 점수 지표는 어조, 리듬, 대칭성에서의 규칙 준수 정도를 효과적으로 캡처하여 구조적 품질의 자동 평가를 가능하게 한다.
• 확장된 word2vec 구성요소는 생성된 줄의 의미적 일관성과 음운적 균형을 모두 향상시킨다.
• 입력 키워드에 맥락적·주제적으로 일치하는 시를 생성하는 데서 모델의 성능이 뛰어나게 나타난다.
• 인간 평가 결과, 기존 방법 대비 모델이 더 높은 진정성 인식을 갖춘 시를 생성하는 것으로 확인되었다.