[논문 리뷰] Chinese song iambics generation with neural attention-based model

Qixin Wang, Tianyi Luo외 2명|arXiv (Cornell University)|2016. 07. 09.

Topic Modeling참고 문헌 17인용 수 54

한 줄 요약

이 논문은 이원적 LSTM을 사용하여 중국 송시의 운율과 구조적 제약이 엄격한 시적 양식인 이ambic를 생성하는 주목적 기반의 시퀀스-투-시퀀스 모델을 제안한다. 글로벌 컨텍스트 통합과 하이브리드 스타일 훈련을 통해 모델은 복잡한 패턴을 효과적으로 학습하여 자동 및 인간 평가에서 높은 품질의 운율 정확도를 갖춘 시 생성을 성공적으로 달성한다.

ABSTRACT

Learning and generating Chinese poems is a charming yet challenging task. Traditional approaches involve various language modeling and machine translation techniques, however, they perform not as well when generating poems with complex pattern constraints, for example Song iambics, a famous type of poems that involve variable-length sentences and strict rhythmic patterns. This paper applies the attention-based sequence-to-sequence model to generate Chinese Song iambics. Specifically, we encode the cue sentences by a bi-directional Long-Short Term Memory (LSTM) model and then predict the entire iambic with the information provided by the encoder, in the form of an attention-based LSTM that can regularize the generation process by the fine structure of the input cues. Several techniques are investigated to improve the model, including global context integration, hybrid style training, character vector initialization and adaptation. Both the automatic and subjective evaluation results show that our model indeed can learn the complex structural and rhythmic patterns of Song iambics, and the generation is rather successful.

연구 동기 및 목표

• 기존 언어 모델이 처리할 수 없는 엄격한 운율과 구조적 패턴을 요구하는 중국 송시 이ambic 생성 문제를 해결하기 위해.
• 주목적 기반 메커니즘을 통해 입력 문장으로부터 세밀한 구조적 단서를 통합하여 시 생성 품질을 향상시키기 위해.
• 글로벌 컨텍스트 통합 및 하이브리드 스타일 훈련과 같은 기법을 탐색하여 생성된 이ambic의 구조적 정확도와 유창성 향상에 기여하기 위해.
• 긴 길이의 변형된 길이의 시 양식에서 운율 일관성과 시적 통일성을 유지할 수 있는 모델의 능력을 평가하기 위해.

제안 방법

• 입력으로 제공된 단서 문장으로부터 문맥 표현을 포착하기 위해 이원적 LSTM 인코더를 사용한다.
• 구조적 제약을 고려하면서 토큰 단위로 이ambic를 생성하기 위해 관련 인코더 상태에 주목하는 주목적 기반 LSTM 디코더를 사용한다.
• 장기적 생성을 안정화하고 가변 길이의 줄 간의 통일성을 향상시키기 위해 글로벌 컨텍스트 정보를 통합한다.
• 생성된 시의 유창성과 구조적 정확도를 동시에 최적화하기 위해 하이브리드 스타일 훈련을 적용한다.
• 학습된 벡터로 문자 임베딩를 초기화하고 훈련 중에 이를 적응시켜 시적 어휘를 더 잘 표현하도록 한다.
• 입력 단서의 주요 구조적 특징에 집중하는 주목적 기반 메커니즘을 통해 생성 과정을 정규화한다.

실험 결과

연구 질문

• RQ1 주목적 기반 시퀀스-투-시퀀스 모델은 중국 송시 이ambic의 복잡한 운율 및 구조적 제약을 효과적으로 학습하고 생성할 수 있는가?
• RQ2 글로벌 컨텍스트 통합은 생성된 이ambic의 통일성과 구조적 일관성에 어떻게 기여하는가?
• RQ3 하이브리드 스타일 훈련은 시 생성의 유창성과 구조적 정확도를 어느 정도 향상시키는가?
• RQ4 문자 벡터의 초기화 및 적응은 모델이 언어적·운율적으로 정확한 시를 생성할 수 있는 능력에 어떤 영향을 미치는가?

주요 결과

• 모델은 중국 송시 이ambic에 내재된 복잡한 운율 및 구조적 패턴을 효과적으로 학습하고 재현하였다.
• 자동 평가 결과는 기준 모델 대비 향상된 구조적 및 언어적 품질을 보여주었다.
• 주관적 평가에서 인간 평가자들이 생성된 이ambic가 통일감 있고 유창하며 운율적으로 정확하다고 평가하였다.
• 글로벌 컨텍스트 통합 및 하이브리드 스타일 훈련과 같은 기법은 장기적 통일성 유지 능력을 크게 향상시켰다.
• 문자 벡터의 초기화 및 적응은 시적 어휘 표현을 향상시키고 생성 품질을 향상시키는 데 기여하였다.
• 주목적 기반 메커니즘은 입력 단서와 생성된 시 줄 간의 효과적인 정렬을 가능하게 하여 구조적 관련성을 확보하였다.