[논문 리뷰] Generating Major Types of Chinese Classical Poetry in a Uniformed Framework

Jinyi Hu, Maosong Sun|arXiv (Cornell University)|2020. 03. 13.

Topic Modeling참고 문헌 13인용 수 5

한 줄 요약

이 논문은 시(절구 및 러시)와 ci(121종의 빈도 높은 자파이)를 포함한 중국 고전 시의 주요 유형을 통합된 GPT-2 기반 프레임워크로 생성하는 것을 제안한다. 표준화된 훈련 포맷에 세부적인 형식 정보를 통합하고 형식에 중점을 둔 가중치 기반 메커니즘을 적용함으로써, 모델은 구조적 정확성과 일관성을 크게 향상시켜 다양한 시 형식에서 고품질의 생성을 달성하였으며, 청화대학교의 지오거 시 생성 시스템에서 검증되었다.

ABSTRACT

Poetry generation is an interesting research topic in the field of text generation. As one of the most valuable literary and cultural heritages of China, Chinese classical poetry is very familiar and loved by Chinese people from generation to generation. It has many particular characteristics in its language structure, ranging from form, sound to meaning, thus is regarded as an ideal testing task for text generation. In this paper, we propose a GPT-2 based uniformed framework for generating major types of Chinese classical poems. We define a unified format for formulating all types of training samples by integrating detailed form information, then present a simple form-stressed weighting method in GPT-2 to strengthen the control to the form of the generated poems, with special emphasis on those forms with longer body length. Preliminary experimental results show this enhanced model can generate Chinese classical poems of major types with high quality in both form and content, validating the effectiveness of the proposed strategy. The model has been incorporated into Jiuge, the most influential Chinese classical poetry generation system developed by Tsinghua University (Guo et al., 2019).

연구 동기 및 목표

• 다양한 형식을 포함한 중국 고전 시의 구조적으로 정확한 생성에 도전하는 것.
• 서로 다른 구조 규칙을 가진 여러 시 형식 간 훈련 데이터 표현을 통일하는 것.
• GPT-2의 형식 제약 제어 능력을 향상시켜, 러시나 드물게 사용되는 ci 자파이와 같은 더 긴 복잡한 형식에 특히 효과적으로 적용하는 것.
• 주요 시 형식에서 형식 정확성과 의미 일관성의 균형을 이루는 생성 품질 향상

제안 방법

• 각 훈련 샘플에 줄 수, 줄당 문자 수, 음조 패턴, 대칭(duizhang, 평행성) 요구사항 등의 세부적인 형식 정보를 통합한 통합된 데이터 포맷을 정의한다.
• 자기회귀적 생성 중 형식 관련 토큰에 대한 주의를 증가시키기 위해 GPT-2에 형식에 중점을 둔 가중치 기반 메커니즘을 도입한다.
• 구조적 인식을 향상시키고 형식 오류를 줄이기 위해 입력 시퀀스에 단계 분리 마커를 통합한다.
• CCPC1.0의 834,902首의 시를 포함한 정제된 데이터셋에서 GPT-2를 미세조정하며, 상위 121종의 ci 자파이와 주요 시 유형에 집중한다.
• 단일 모델로 여러 시 유형을 생성함으로써, 새로운 형식에 대해 제로샷 또는 피처샷 적응이 가능하도록 한다.
• 청화대학교의 주요 중국 고전 시 생성 시스템인 지오거에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 통합된 단일 프레임워크가 높은 구조적 정밀도로 다양한 주요 중국 고전 시 유형을 효과적으로 생성할 수 있는가?
• RQ2 GPT-2에서 형식에 중점을 둔 가중치 기반 메커니즘이, 긴 길이와 엄격한 음조 또는 평행성 규칙을 가진 복잡한 시 형식에 대해 제어 능력을 어떻게 향상시키는가?
• RQ3 입력 형식에 단계 분리 정보를 포함시키면 생성된 시의 구조 오류가 어느 정도 감소하는가?
• RQ4 제한된 훈련 데이터에도 불구하고, 모델은 드문 ci 자파이 형식으로 일반화할 수 있는가?
• RQ5 다양한 시 유형 간 형식 정확성과 의미 일관성의 균형을 유지하는 데 모델의 성능은 어떠한가?

주요 결과

• 개선된 모델은 자파이 '칭위천'을 생성할 때 기준 모델의 12.0%에서 55.0%로 정확도가 향상되어 형식 정확성 향상의 뚜렷한 증거를 보였다.
• 훈련 형식에 단계 분리 정보를 포함시킴으로써 ci 시 생성 시 형식 오류가 약 20% 감소하였으며, 개선된 모델로 생성된 모든 시가 예상되는 형식을 정확히 따르는 것으로 확인되었다.
• 모델은 기하학적 루시, 만강홍 등 주요 시 및 ci 유형 전반에서 고품질이며 의미적으로 일관된 시를 성공적으로 생성하였으며, 러시에서는 정확한 Duizhang(평행성) 사용도 보였다.
• qualitative 사례 연구를 통해 생성된 시가 적절한 의미적 구조, 주제 일관성, 예술적 표현을 갖추고 있음을 확인하였다.
• 프레임워크는 청화대학교에서 가장 영향력 있는 중국 고전 시 생성 시스템인 지오거에 성공적으로 통합되어 실용적 유용성을 입증하였다.
• 개선에도 불구하고, 더 긴 형식과 자원이 적은 자파이에 대해서는 여전히 형식 제어가 어려운 문제를 안고 있어, 구조 모델링의 향상 여지가 있음을 시사한다.