[논문 리뷰] GPT-based Generation for Classical Chinese Poetry

Yi Liao, Yasheng Wang외 2명|arXiv (Cornell University)|2019. 06. 29.

Topic Modeling참고 문헌 14인용 수 34

한 줄 요약

간단한 GPT 기반 접근 방식이 클래식 중국 시에 대해 트랜스포머를 미세 조정하여 여러 형식에 걸쳐 잘 구성된 시를 생성하되, 두문자 시(acrostics)를 포함합니다. 수작업 규칙 없이. 이 시스템은 토큰별 샘플링과 형식/주제 포맷을 사용하여 다양하고 일관된 시를 만들어냅니다.

ABSTRACT

We present a simple yet effective method for generating high quality classical Chinese poetry with Generative Pre-trained Language Model (GPT). The method adopts a simple GPT model, without using any human crafted rules or features, or designing any additional neural components. While the proposed model learns to generate various forms of classical Chinese poems, including Jueju, Lüshi, various Cipai and Couples, the generated poems are of very high quality. We also propose and implement a method to fine-tune the model to generate acrostic poetry. To the best of our knowledge, this is the first to employ GPT in developing a poetry generation system. We have released an online mini demonstration program on Wechat to show the generation capability of the proposed method for classical Chinese poetry.

연구 동기 및 목표

• 간단한 GPT 모델이 명시적 형식이나 내용 규칙 없이도 고품질의 클래식 중국 시를 생성할 수 있음을 시연한다.
• 여러 형식(Jueju, Lüshi, Cipai, Couplet)과 두문자 시를 다룰 수 있는 모델의 능력을 조사한다.
• 형식별으로 잘 형성된 정도, 일관성, 다양성 및 예술성을 시의 주제와 형식 전반에 걸쳐 평가한다.

제안 방법

• 사전 학습으로 중국 뉴스 말뭉치를 거친 후, 고전 중국 시 말뭉치로 GPT 모델을 미세 조정한다.
• 학습 시를 식별자로 구분된 형식(form), 주제(theme), 본문(body) 필드를 가진 시퀀스로 직렬화한다.
• 디코딩 중 다양성을 촉진하기 위해 잘린 top-k 샘플링을 사용한 토큰별 생성.
• 머리글자(head characters)를 인코딩하도록 시퀀스 형식을 바꿔 두문자 시를 생성하도록 별도의 모델 변형을 학습한다.
• 디코딩 중 엄격한 제약을 부과하지 않고, 형식과 운의 경향을 모델이 학습하도록 의존한다.

실험 결과

연구 질문

• RQ1 고전 중국 시로 미세 조정된 GPT 모델이 명시적 규칙 기반 컨트롤러 없이도 다양한 전통 형식에서 잘 구성된 시를 생성할 수 있는가?
• RQ2 모델이 대구(對聯) 및 다른 형식/음조 관련 제약을 암묵적으로 얼마나 잘 학습할 수 있는가?
• RQ3 지정된 토큰이 지정된 위치에 나타나도록 하며 두문자 시를 생성할 수 있는가?
• RQ4 다양한 주제와 형식에 대해 생성된 시의 다양성, 일관성 및 예술성은 어떠한가?

주요 결과

• 이 방법은 수작업 규칙 없이도 Jueju, Lüshi, Cipai, Couplet를 포함한 다중 형식의 고품질 시를 생성한다.
• 보고된 관찰에서 Jueju와 Lüshi의 잘 형성도는 95%를 초과하며, Cipai의 성능은 형식의 복잡성과 데이터 가용성에 따라 달라진다.
• 모델은 암묵적으로 대구 규칙과 음조 패턴을 학습하여 많은 경우에 잘 짝지어진 구를 산출하며, 특히 Lüshi에서 그렇다.
• 다양성은 잘린 top-k 샘플링을 통해 달성되어 같은 형식과 주제에 대해 실행마다 서로 다른 출력이 생성된다.
• 두문자 시는 입력의 간단한 재포맷으로 생성될 수 있으며, 특정 문자가 지정된 위치에 나타나도록 한다.
• 운과 어조 패턴은 디코딩 시 명시적 제약이 없어도 비교적 잘 나타난다.