[논문 리뷰] Deep Poetry: A Chinese Classical Poetry Generation System

Liu Y, Dayiheng Liu외 1명|arXiv (Cornell University)|2019. 11. 19.

Multimodal Machine Learning Applications참고 문헌 5인용 수 6

한 줄 요약

Deep Poetry는 텍스트, 이미지 또는 예술적 개념과 같은 다중 모odal 입력을 수용하는 신경망 기반의 중국 고전 시 생성 시스템으로, 사용자와의 협업을 통해 시 창작에 참여할 수 있다. 이 시스템은 자기주의 주의 네트워크, 규칙 기반 선별이 적용된 범주 기반 검색, WeChat 앱лет 배포를 통해 운율이 맞고 구조적으로 타당한 시를 다양한 장르(예: 산문, 악시드 등)로 생성하며, 고전 시의 접근성과 참여도를 크게 향상시킨다.

ABSTRACT

In this work, we demonstrate a Chinese classical poetry generation system called Deep Poetry. Existing systems for Chinese classical poetry generation are mostly template-based and very few of them can accept multi-modal input. Unlike previous systems, Deep Poetry uses neural networks that are trained on over 200 thousand poems and 3 million ancient Chinese prose. Our system can accept plain text, images or artistic conceptions as inputs to generate Chinese classical poetry. More importantly, users are allowed to participate in the process of writing poetry by our system. For the user's convenience, we deploy the system at the WeChat applet platform, users can use the system on the mobile device whenever and wherever possible. The demo video of this paper is available at https://youtu.be/jD1R_u9TA3M.

연구 동기 및 목표

• 중국 고전 시를 쓰는 데 높은 장벽을 극복하기 위해 접근성 있고 상호작용 가능한 생성 시스템을 구축하기 위해.
• 템플릿 기반 시스템의 한계를 극복하기 위해 사용자 입력의灵活性가 없고 반복적이며 딱딱한 출력을 생성하는 시스템을 개선하기 위해.
• 텍스트, 이미지, 예술적 개념과 같은 다중 모달 입력을 지원해 더 창의적이고 맥락 인식 기반의 시 생성을 가능하게 하기 위해.
• 사용자가 부분적인 줄을 기여하고 AI가 이를 완성하는 방식으로 협업적 글쓰기를 지원하기 위해.
• WeChat 앱렛 플랫폼을 활용한 모바일 중심의 게임화 인터페이스를 통해 일반 대중의 고전 중국 시 참여를 증진하기 위해.

제안 방법

• Clarifai의 이미지 인식 API를 사용해 이미지에서 최소 두 가지 시각적 주제를 추출한다.
• ShiXueHanYing 시어 분류 체계를 활용해 인식된 주제를 관련된 시어 어휘로 확장한다.
• 입력된 어휘의 임bedding을 조건으로 삼아 자기주의 주의 신경망을 사용해 단어 단위로 시를 생성한다.
• 5자, 7자 산문 및 고정된 초성어를 가진 악시드 시 등 다양한 장르를 지원한다.
• 비트 서치(비트 크기 = N)를 사용해 다수의 후보 시를 생성한 후, 규칙 기반의 선별 메커니즘을 통해 운율 어긋남이나 반복적인 출력을 걸러낸다.
• 앱 설치 없이도 모바일 접근이 가능한 WeChat 앱렛으로 시스템을 배포한다.

실험 결과

연구 질문

• RQ1 신경망 기반 시스템이 텍스트, 이미지 또는 예술적 개념과 같은 다양한 입력에서 운율과 구조적으로 타당한 중국 고전 시를 생성할 수 있는가?
• RQ2 AI 보조 줄 완성 기능을 통해 사용자 협업을 효과적으로 지원할 수 있으며, 이로 인해 시의 통일성은 유지되는가?
• RQ3 이미지나 예술적 개념과 같은 다중 모달 입력이 텍스트 전용 모델 대비 창의성과 관련성 측면에서 얼마나 향상되는가?
• RQ4 규칙 기반의 선별 메커니즘이 신경망 기반 시 생성에서 비준수 출력(예: 깨진 운, 반복)을 효과적으로 제거할 수 있는가?
• RQ5 WeChat과 같은 널리 사용되는 모바일 플랫폼에 시스템을 배포함으로써 사용자 접근성과 고전 시 참여도는 어떻게 향상되는가?

주요 결과

• 시스템은 다양한 장르, 특히 사용자가 정의한 초성어를 가진 악시드 시를 포함해 운율이 맞고 구조적으로 타당한 중국 고전 시를 성공적으로 생성한다.
• 사용자 협업은 효과적으로 지원된다: 사용자는 길이에 관계없이 부분적인 줄을 입력할 수 있으며, 시스템은 일관된 완성본 후보를 생성한다.
• 선별 메커니즘이 비준수 출력을 성공적으로 걸러내어, 운율과 반복 규칙을 지키는 시만 사용자에게 제시된다.
• Clarifai와 ShiXueHanYing를 통한 이미지 및 예술적 개념 입력 통합은 순수 텍스트를 초월한 맥락 기반의 시 생성을 가능하게 한다.
• WeChat 앱렛 플랫폼에 배포되어 앱 설치 없이 광범위한 모바일 접근이 가능해져 사용자 접근성이 크게 향상되었다.
• 단어 퍼즐 게임의 통합은 사용자 참여도를 높이고 일반 대중이 고전 시에 관심을 갖도록 유도한다.