[논문 리뷰] Chinese Poetry Generation with a Salient-Clue Mechanism

Xiaoyuan Yi, Ruoyu Li외 1명|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 중국 시 생성을 위한 유의어 클루즈 메커니즘을 제안하며, 이는 이전에 생성된 줄들에서 의미적으로 가장 두드러진 문자들을 동적으로 선택하여 지속적인 가이드 클루즈를 형성함으로써 의미, 주제 및 예술적 개념에서의 전반적 일관성을 향상시킨다. 이 방법은 강력한 베이스라인을 능가하는 일관성 향상을 이루며, 스타일과 사용자 의도에 대한 민감한 제어를 가능하게 하여 자동 평가 및 인간 평가 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

As a precious part of the human cultural heritage, Chinese poetry has influenced people for generations. Automatic poetry composition is a challenge for AI. In recent years, significant progress has been made in this area benefiting from the development of neural networks. However, the coherence in meaning, theme or even artistic conception for a generated poem as a whole still remains a big problem. In this paper, we propose a novel Salient-Clue mechanism for Chinese poetry generation. Different from previous work which tried to exploit all the context information, our model selects the most salient characters automatically from each so-far generated line to gradually form a salient clue, which is utilized to guide successive poem generation process so as to eliminate interruptions and improve coherence. Besides, our model can be flexibly extended to control the generated poem in different aspects, for example, poetry style, which further enhances the coherence. Experimental results show that our model is very effective, outperforming three strong baselines.

연구 동기 및 목표

• 신경 기계 번역을 통한 중국 시 생성에서 전반적 일관성, 특히 문장 간 주제적 일致성과 예술적 일致성 유지를 해결하기 위한 도전에 대응한다.
• 전체 컨텍스트가 아닌 부분적 유의어 컨텍스트를 선택적으로 활용하는 메커니즘을 개발한다.
• 문장 간 전개에 따라 점진적으로 유의어 클루즈를 동적으로 구축함으로써 일관성을 향상시킨다.
• 사용자 의도와 시적 스타일을 통합하여 생성된 시의 스타일 제어를 위한 민감한 제어 기능을 제공한다.
• Wujue 및 Qijue 시 생성에서 전반적 일관성, 스타일 일致성, 창의성 있는 표현을 확보하기 위한 모델의 효과성을 평가한다.

제안 방법

• 유의어 클루즈 메커니즘은 각 이전에 생성된 줄에서 유의어 점수 함수를 사용해 가장 유의미한 문자들을 식별하고 선택한다.
• 선택된 유의어 문자들이 동적으로 변화하는 클루즈를 형성하며, 이는 후속 줄 생성을 위한 디코더의 지시로 기능한다.
• 사용자 의도와 시적 스타일을 보조 신호로 통합하여 생성 과정을 더욱 정교하게 이끈다.
• 유의어 점수는 tf-idf와 학습된 유의어 네트워크(SSI)의 조합을 통해 계산되며, 제거 실험을 통해 그 효과가 검증된다.
• 커버리지와 제어력을 향상시키기 위해 포인터-게이터 네트워크를 활용한 시퀀스 투 시퀀스 생성 모델 내부에 프레임워크를 구현한다.
• 일회성 생성을 지원하며, 자동 평가 지표와 인간 평가 모두를 통해 평가된다.

실험 결과

연구 질문

• RQ1 동적으로 업데이트되는 유의어 클루즈는 주제와 예술적 개념 측면에서 생성된 중국 시의 전반적 일관성을 향상시키는가?
• RQ2 전체 컨텍스트 모델링 대비 부분적 유의어 컨텍스트 선택적 활용이 문장 간 일관성을 유지하는 데 어떤 영향을 미치는가?
• RQ3 사용자 의도와 시적 스타일의 통합이 생성 과정의 일관성과 제어력을 더욱 향상시키는가?
• RQ4 유의어 선택 메커니즘이 품질을 유지하면서 창의성 향상에 얼마나 기여하는가?
• RQ5 자동 평가 지표와 인간 평가 모두에서 제안된 모델은 강력한 베이스라인과 비교해 어떤가?

주요 결과

• 제안된 유의어 클루즈 메커니즘은 의미, 주제, 예술적 개념 측면에서 인간 평가 점수의 상승을 통해 전반적 일관성 향상이 뚜렷하게 확인되었다.
• 자동 평가 지표에서 세 개의 강력한 베이스라인을 능가했으며, Wujue 시 생성에서 스타일 제어 성공률가 52.5%에 달했다.
• tf-idf 기반의 유의어 선택은 창의성 향상에 기여했으며, 생성된 시의 Jaccard 유사도는 0.042를 기록했다.
• 품질, 창의성, 모델 크기(13.6M 파라미터), 생성 속도(1.57초/시) 간 균형 잡힌 성능을 달성했다.
• 사례 연구에서는 SC 기반 생성 시가 일관성을 유지함을 확인했으며, 예를 들어 '가을'이 '낙엽'으로 이어지는 등, 반면 seq2seqPG 기반 베이스라인은 '달' 다음에 '일출'이 오는 등 모순을 보였다.
• 사용자 의도와 스타일 제어의 통합은 일관성 향상에 기여했으며, tf-idf 유의어 선택과 스타일 감독을 결합했을 때 가장 높은 성능을 기록했다.