[논문 리뷰] Chinese Poetry Generation with Planning based Neural Network

Zhe Wang, Wei He외 5명|arXiv (Cornell University)|2016. 10. 31.

Artificial Intelligence in Games참고 문헌 28인용 수 71

한 줄 요약

이 논문은 사용자 의도를 바탕으로 하위 주제를 계획한 후, 수정된 RNN 인코더-디코더 모델을 사용해 선형적으로 문장을 생성하는 이단계 신경망 프레임워크를 제안한다. 이 방법은 외부 지식을 통한 현대 개념 처리를 통해 의미적 일관성을 향상시키며, 인간 평가에서 인간다운 품질을 달성한다. 비전공자들이 평가한 결과, 기계가 생성한 시 중 49.9%가 인간이 쓴 시와 구별되지 않았다.

ABSTRACT

Chinese poetry generation is a very challenging task in natural language processing. In this paper, we propose a novel two-stage poetry generating method which first plans the sub-topics of the poem according to the user's writing intent, and then generates each line of the poem sequentially, using a modified recurrent neural network encoder-decoder framework. The proposed planning-based method can ensure that the generated poem is coherent and semantically consistent with the user's intent. A comprehensive evaluation with human judgments demonstrates that our proposed approach outperforms the state-of-the-art poetry generating methods and the poem quality is somehow comparable to human poets.

연구 동기 및 목표

• 기존 신경망 시 생성 모델에서 후속 줄이 사용자 초기 의도에서 벗어나는 등 의미적 일관성이 떨어지는 문제를 해결하기 위해.
• 기존 훈련 데이터의 어휘 제한으로 인해 처리하지 못하는 현대적 또는 비전통적 주제(예: '버락 오바마')를 포함한 시 생성을 가능하게 하기 위해.
• 사용자 의도를 생성 전에 구조화된 하위 주제로 분해함으로써 시 품질을 향상시키기 위해.
• 외부 지식원(예: 백과사전)을 통합하여 현대 개념과 고전적 시적 언어 사이의 격차를 메우기 위해.
• 인간 기준에 부합하는 의미적으로 통일되고 리듬이 맞고 구조적으로 일관된 시를 생성하는 프레임워크 개발하기

제안 방법

• 이 방법은 이단계 파이프라인을 사용한다: 먼저, 시 계획 모델이 사용자의 입력(키워드, 문장, 또는 문서)을 각각 선의 주제적 요소를 나타내는 하위 주제의 시퀀스로 분해한다.
• 각 하위 주제는 백과사전과 같은 외부 지식원을 사용해 현대 용어를 고전어에 맞는 개념으로 확장하여 생성한다(예: '버락 오바마' → '탁월함', '권력').
• 수정된 RNN 인코더-디코더 모델을 사용해 생성을 수행하며, 두 개의 병렬 인코더를 갖는다: 하나는 현재 하위 주제용이고, 다른 하나는 이전에 생성된 선들에 대한 것이다.
• 디코더의 어텐션 메커니즘은 하위 주제 임베딩과 이전 선들의 은닉 상태 양쪽 모두에 주의를 기울여, 맥락 인식 및 주제 일치된 생성을 보장한다.
• 모델은 엄격한 음조, 운율, 구조 규칙을 갖춘 고전 중국시 대량 코퍼스에서 훈련된다.
• 이 프레임워크는 다양한 시 형식(예: 육시)의 생성을 지원하며, 다른 장르나 언어로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 주제 계획 기반 접근법이 종단간 시퀀스-투-시퀀스 모델에 비해 생성된 중국시의 의미적 일관성을 향상시키는가?
• RQ2 모델은 훈련 데이터에 존재하지 않는 현대적 또는 비전통적 주제에 대해 얼마나 잘 시를 생성할 수 있는가?
• RQ3 외부 지식원(예: 백과사전)이 고전적 시 형식에서 현대 개념을 처리하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 인간 평가에서 기계가 생성한 시의 품질은 인간이 쓴 시에 얼마나 가까운가?
• RQ5 주제 일관성을 확보하면서도 음조 패턴, 운율 등의 구조적 제약을 유지할 수 있는가?

주요 결과

• 인간 평가에서 49.9%의 기계 생성 시가 비전문가 평가자들에 의해 인간이 쓴 시로 잘못 식별되거나 인간의 시와 구별되지 않았다.
• 전문가 평가자들 중 16.3%는 기계 생성 시를 인간이 쓴 시와 구별하지 못했으며, 이는 품질 인식에 상당한 격차가 있음을 시사한다.
• 모델은 외부 지식에서 유도된 하위 주제(예: '향기', '봄강', '별')를 활용해 '맥주'와 '신흥'과 같은 현대 주제에 대해 일관된 시를 성공적으로 생성했다.
• 주제 계획 기반 접근법은 사용자 의도에서 파생된 하위 주제에 각 줄이 명시적으로 연결되므로 의미적 일관성 향상에 기여했다.
• 이중 인코더를 갖춘 수정된 RNN 인코더-디코더 모델은 자동 평가 및 인간 평가 모두에서 모든 기준 모델을 능가했다.
• 모델는 현대적 또는 추상적인 개념을 입력받아도 구조적으로 정확하고 적절한 음조 패tern과 운율을 갖춘 시를 생성하는 데 있어 뛰어난 내재성을 보였다.